Tìm kiếm
40 kết quả cho “sharding”. Tìm không phân biệt dấu.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Sharding Cash Bài tóm tắt · Square · 2018
…rung bình — [bài gốc](https://medium.com/square-corner-blog/sharding-cash-10280fa3ef3b) Bài mở đầu một series về Vitess ở Cash App; các phần sau không có trong wiki. Bối cảnh - Cas…
- Sharding Pinterest: How we scaled our MySQL fleet Bài tóm tắt · Pinterest · 2015
…bình — [bài gốc](https://medium.com/@Pinterest Engineering/sharding-pinterest-how-we-scaled-our-mysql-fleet-3f341e96ca6f) Bối cảnh - 2011 Pinterest tăng trưởng cực nhanh; khoảng 9…
- Sharding & IDs at Instagram Bài tóm tắt · Instagram · 2011
…ó: Trung bình — [bài gốc](https://instagram-engineering.com/sharding-ids-at-instagram-1cf5a71e5a5c) Bối cảnh - Khoảng 25 ảnh và 90 like mỗi giây (2011). Họ shard để dữ liệu quan tr…
- Cloud Native MySQL Sharding with Vitess and Kubernetes Bài tóm tắt · Vitess · 2015
…i gốc](https://vitess.io/blog/2015-10-06-cloud-native-mysql-sharding-with-vitess-and-kubernetes/) Bài của engineer YouTube giới thiệu Vitess 2.0 (khi đó còn alpha) chạy trên Kubern…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…— [bài gốc](https://www.quora.com/q/quoraengineering/MySQL-sharding-at-Quora) Quora chặn crawler; đọc toàn văn qua trình duyệt ngày 2026-10-21, Wayback lúc đó offline. Bối cảnh -…
- Migrating Etsy's database sharding to Vitess Bài tóm tắt · Etsy · 2026
…(https://www.etsy.com/codeascraft/migrating-etsyas-database-sharding-to-vitess) Bối cảnh - Etsy shard MySQL từ khoảng 2010 : ~1.000 bảng trên ~1.000 shard, hơn 425 TB, ~1,7 triệu r…
- The history of Postgres sharding Bài tóm tắt · PlanetScale · 2026
…i gốc](https://planetscale.com/blog/the-history-of-postgres-sharding) Nguồn thứ cấp, do nhà cung cấp viết: bài tổng quan lịch sử, kết thúc bằng giới thiệu sản phẩm Neki của chính P…
- Geosharded Recommendations Part 1: Sharding Approach Bài tóm tắt · Tinder · 2019
…https://medium.com/tinder/geosharded-recommendations-part-1-sharding-approach-d5d54e0ec77a) Sheet trỏ tới phần 3 (consistency); wiki đọc phần 1 (cách chia shard). Phần 2: ; phần 3:…
- Herding elephants: Lessons learned from sharding Postgres at Notion Bài tóm tắt · Notion · 2021
…Độ khó: Trung bình — [bài gốc](https://www.notion.com/blog/sharding-postgres-at-notion) Bối cảnh - Một Postgres monolith (RDS) đã chạy 5 năm qua 4 bậc độ lớn tăng trưởng. Đến giữa…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…đúng với dữ liệu không có giá trị tiền bạc). Clustering hay sharding - Clustering (Cassandra, Membase, HBase: dữ liệu tự phân phối, tự di chuyển, node nói chuyện với nhau) theo kin…
- The Great Re-shard: adding Postgres capacity (again) with zero downtime Bài tóm tắt · Notion · 2023
…ệu thành nhiều logical schema hơn số máy ngay từ đầu biến resharding thành dời schema, không phải chia lại key. - Tầng proxy/pool kết nối cũng có trần; khi nhân số shard phải tính…
- Goodbye to sequential integers, hello UUIDv7 Bài tóm tắt · Buildkite · 2023
…goài (API) lẫn trong (khoá ngoại). - Phương án đã cân nhắc: ShardingID của Instagram, khoá chính phức hợp của Shopify, giữ UUID "v4 có thời gian" tự chế. Chọn v7 vì là chuẩn sắp tớ…
- Scaling Datastores at Slack with Vitess Bài tóm tắt · Slack · 2020
…y đổi chính - Cân nhắc "sửa tại chỗ hay thay thế": - Tự xây sharding linh hoạt trong webapp đã được prototype, nhưng logic app dính chặt vào cách lưu dữ liệu; cách này cũng không g…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…ượng và tốc độ series, số rule, chu kỳ đánh giá). - Shuffle sharding: mỗi tenant chỉ ghi vào một tập con node storage và query chỉ dùng một tập con query worker; một tenant bị tấn…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…ứng dụng ghi kép; ứng dụng chỉ cần retry được lỗi tạm. - Resharding một tenant lớn ra index riêng là thao tác thường xuyên, nên phải rẻ (). - Việc nền trên cụm đang phục vụ phải t…
- Postgres backups under the hood Bài tóm tắt · PlanetScale · 2026
…backup là núm vặn RTO; khi một máy quá lớn để restore kịp, sharding cũng là giải pháp cho backup (). - Chụp backup trên node phụ dựng từ backup cũ để không tranh tài nguyên với pr…
- Atomic slot migration with Redis 8.4 Bài tóm tắt · Redis · 2026
…ine (). - Chọn đơn vị chia nhỏ hơn node (slot cố định) để resharding là dời slot, không băm lại key (). - Có số liệu theo slot thì mới biết slot nào nóng để dời (). - Dời theo cả l…
- A Pods Architecture To Allow Shopify To Scale Bài tóm tắt · Shopify · 2018
…ale được, nhưng mất khả năng chịu lỗi : code đầy những đoạn Sharding.with each shard do ... end , nên chỉ cần một shard hỏng là cả hành động đó hỏng trên toàn nền tảng. Shard càng…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
Sau khi shard theo địa lý, có hai kho dữ liệu phải khớp nhau:
- Geosharded Recommendations Part 2: Architecture Bài tóm tắt · Tinder · 2019
Phần 1 đã chốt thuật toán chia geoshard trên S2 và đóng gói thành một microservice nội bộ. Phần 2 trả lời ba câu hỏi triển khai: "shard" cụ thể là gì trong Elasticsearch, cluster cần cỡ nào, và cân tải ra sao.
- YouTube Architecture Bài tóm tắt · YouTube · 2007
…video được ưu tiên, tính năng mạng xã hội sang cụm kém hơn. Sharding giảm 30% phần cứng và replica lag về 0. - Data center: từ managed hosting (sống bằng thẻ tín dụng) sang colocat…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…allel worker bằng số core để gom dữ liệu nhiều partition. - Sharding bằng postgres fdw , theo năm tài chính: loại Citus vì phải thêm cột reference ID vào mọi bảng và viết lại hàng…
- 5-year Evolution of Ele.me's Transaction System - Part 2 Bài tóm tắt · Ele.me · 2020
DB đơn hàng: 1 primary MySQL + 5 secondary + 1 node cho MHA. Không chịu được tải đột biến: nếu phòng kinh doanh không báo trước khuyến mãi thì secondary sập và chỉ còn biết chuyển qua lại giữa các DB.
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…ột instance, một instance "global" gom một phần dữ liệu) và sharding (gom lại cũng qua federation). Một instance mỗi DC hợp với môi trường giao dịch phân tán, nhưng không hợp với m…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
Inngest (nền tảng durable execution) chuyển queue từ Valkey (bản fork của Redis, chạy trong RAM, thao tác queue đơn luồng) sang FoundationDB (KV có transaction, dữ liệu trên đĩa).
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
Mỗi cuộc gọi hay tin nhắn đi qua các trạng thái in-flight (đổ chuông, đang gọi, xếp hàng), rồi thành bản ghi post-flight để lưu lâu dài và phân tích. Trước đây cả hai nằm chung một cụm MySQL.
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
Stack DB của Figma tăng gần 100 lần từ 2020. Cuối 2022 đã có cache, read replica và khoảng 12 DB tách dọc ().
- Scalability and Load Testing for VALORANT Bài tóm tắt · Riot Games · 2020
Nền tảng của VALORANT (ngoài game server) là hơn 30 microservice Go: party, matchmaking, chọn Agent, cấp trận về datacenter theo ping, lưu kết quả, store, loadout. Microservice từ đầu là bài học từ League of Legends,…
- How We Halved Go Monorepo CI Build Time Bài tóm tắt · Uber · 2022
…h) họ khai báo sẵn 50 shard và bật theo metadata để giả lập sharding động: 10.000 target từ một giờ còn khoảng 10 phút. - Shard theo root target: chia đều target đã đổi thì target…
- From Chaos to Control: Addressing Shard Distribution Challenges in M3DB with Subclusters Bài tóm tắt · Uber · 2026
M3DB là DB time-series phân tán của Uber: dữ liệu chia shard, mỗi shard có RF bản sao; một thuật toán placement quyết định node nào giữ shard nào.
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
eBay (12/2022) có khoảng 134 triệu người dùng và 1,7 tỉ listing đang hoạt động. Tìm kiếm theo từ khoá vấp từ đồng âm, query đuôi dài, ý định người dùng; team CoreAI dựng một engine ANN để tìm listing giống nhau theo…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
Theo Optiver, giao dịch hệ thống dựa vào sức mạnh của "cỗ máy nghiên cứu": thí nghiệm hôm nay thành model, tín hiệu, kiểm tra rủi ro và hạn mức vị thế ngày mai. Vòng nghiên cứu: đặt giả thuyết → chạy thí nghiệm → đánh…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
Mục tiêu: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đường lệch nhau:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…