Tìm kiếm
35 kết quả cho “Kafka sharding”. Tìm không phân biệt dấu.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…n nằm ở shard kia. Thay đổi chính - Đảm bảo thứ tự ghi bằng Kafka: - partition theo key: mọi lệnh ghi của cùng document vào cùng partition; - consumer giữ lock trên partition mình…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…i feature là khoảng 9,3 GiB/giây , vượt xa năng lực các cụm Kafka hiện có. Client gửi nhiều feature hơn model dùng. Và phần lớn dự đoán không có ích cho train: chấm hàng nghìn ứng…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…p99 mỗi bản ghi cho feed mobile). - Ingest bất đồng bộ qua Kafka: service Partitioner đọc stream mọi nội dung rồi ghi lại sang topic có partition khớp partition của index node; cù…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
Team Core Index Serving (Search Platform) vận hành OpenSearch phía sau search của Confluence, Jira và Rovo: hơn 300 cụm, hơn 2.500 data node, 1,7 PB, cụm dùng chung và cụm theo tenant ở 13 region (2026).
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…a service để định tuyến tới shard; ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform , ban đầu để scale ngang vượt giới hạn dọc của MongoDB, nay dùng ch…
- Learn to stop using shiny new things and love MySQL Bài tóm tắt · Pinterest · 2015
…công ty lớn thì HBase; Pinterest dùng HBase cho feed), log (Kafka → Secor → S3 → MapReduce). Scale vượt một máy thì cần shard tự làm (bài hẹn viết sau). Vì sao - Tác giả cho rằng p…
- The Ultimate Load Test Bài tóm tắt · Tinder · 2020
…hông có lịch sử traffic: đường ghi Dynamo → Dynamo stream → Kafka → cập nhật Elasticsearch phải đủ nhanh để người xem xong được gợi ý người cùng tham gia. Họ gửi request fire-and-f…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Tinder Công ty Thành viên
Nhiều năm Tinder dùng một index Elasticsearch cho gợi ý; năm 2019 chia thành 40–100 geoshard cân theo load score trên S2 . Shard được hiện thực là nhiều index trong một cluster, chốt cỡ bằng performance test, và rải…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Atlassian Công ty Thành viên
Atlassian lên AWS năm 2016. Tenant Context Service (ánh xạ tenant → vị trí, gọi nhiều lần trong mỗi request) được tối ưu qua bốn bài học "không có phép màu": DynamoDB, load balancer, cache, client . Cùng năm 2019, nền…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…o region: CDC bằng Debezium (trên Kubernetes) từ Postgres → Kafka → Spark → data lake của region. Search của workspace EU có cụm Elasticsearch riêng, chỉ index dữ liệu EU. - AI the…
- Cloudflare Công ty Thành viên
Cloudflare bắt đầu bằng một cluster Postgres cfdb cho hầu hết control plane; từ 2017 các service dời dữ liệu ra dần. Đến 2022–2024 dữ liệu DNS (hàng tỷ record) được tách sang cluster riêng, sau khi mọi service đã đi qua…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…am có vấn đề nền tảng khi publish; hướng dài hạn là quay về Kafka 18/10 Run bị trễ CPU của shard queue chính tăng vọt, mọi thao tác chậm Đã có sẵn việc shard queue; xây công cụ dời…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…ilover (gần như không downtime, phải đổi endpoint), CDC qua Kafka (vượt được khác biệt topo, ví dụ Redis 6 shard sang 3 shard; thêm hạ tầng). Theo LY, không thể để DBA tự migrate m…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…