Tìm kiếm
40 kết quả cho “Shard lock”. Tìm không phân biệt dấu.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Herding elephants: Lessons learned from sharding Postgres at Notion Bài tóm tắt · Notion · 2021
…Độ khó: Trung bình — [bài gốc](https://www.notion.com/blog/sharding-postgres-at-notion) Bối cảnh - Một Postgres monolith (RDS) đã chạy 5 năm qua 4 bậc độ lớn tăng trưởng. Đến giữa…
- The Great Re-shard: adding Postgres capacity (again) with zero downtime Bài tóm tắt · Notion · 2023
…ó: Khó — [bài gốc](https://www.notion.com/blog/the-great-re-shard) Bài ngoài sheet. Phần tiếp hai năm sau . Bối cảnh - Cụm "space shards" lưu toàn bộ nội dung workspace (block, com…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…· Độ khó: Nâng cao — [bài gốc](https://medium.com/tinder/geosharded-recommendations-part-3-consistency-2d2cb2f0594b) Phần cuối của series. Phần 1: ; phần 2: . Bối cảnh - Sau khi sh…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…của HighScalability . Lúc đó là bản phát hành đầu: chưa có sharding (dự kiến cuối 9/2012), SQL rất hạn chế. Benchmark của MemSQL bị cộng đồng MySQL phản bác (bài "MySQL is bazilli…
- Unlocking Horizontal Scalability in Our Web Serving Tier Bài tóm tắt · Airbnb · 2016
Monolith Rails chạy trên nhiều web server, nói chuyện với vài service Java; dữ liệu lõi trong MySQL trên RDS, đã tách database theo chức năng năm 2015.
- VTOrc: Vitess-native Orchestrator Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
…ành phần gốc của Vitess. Vì chỉ phục vụ một trường hợp (mỗi shard một primary, replica đọc thẳng từ primary, không có replication tầng), nó có thể có chính kiến và đơn giản hơn nhi…
- How we stopped xmin horizon blocking Postgres vacuuming Bài tóm tắt · Trigger.dev · 2024
Trigger.dev (nền tảng chạy background job) dùng Postgres làm DB chính. Queue chính cho run (v3) nằm trên Redis; còn tác vụ nội bộ (lịch, email cảnh báo...) chạy bằng Graphile Worker, một job queue trên chính Postgres,…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…nhất là khi allocation group đã bận. - RAID chunk: nghi các shard cùng ghi vào một đĩa trong RAID0 (XFS căn file theo 1 MB, chunk RAID 1 MB). Đo cho thấy một đĩa 3,22 GB/s, cả mảng…
- Advancing Our Chef Infrastructure Bài tóm tắt · Slack · 2024
…Chef là điểm hỏng chung. Thay đổi chính - Nhiều stack Chef (shard): instance mới hỏi một bản ghi CNAME có trọng số của Route53 để được gán vào một stack; tách hẳn stack dev và prod…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…đó là điểm cần tìm. - ScyllaDB biểu diễn song song bằng số shard (một shard mỗi core) và số fiber; IO Scheduler điều tiết số request gửi xuống theo mục tiêu latency và năng lực đỉ…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…hưa tới 1/3 chi phí RDS, scale gần như tuyến tính không cần shard tay, chỉnh throughput theo mùa; interface với người dùng không đổi khi thay scheduler. Vì sao - Queue và scheduler…
- Avoiding Double Payments in a Distributed Payments System Bài tóm tắt · Airbnb · 2019
…key, bảng thông tin idempotency luôn đọc/ghi trên master đã shard , gộp transaction bằng Java lambda, phân loại lỗi retryable/non-retryable. - Mỗi request chia ba pha : Pre-RPC (gh…
- The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds Bài tóm tắt · Twitter · 2013
…sửa, index trong RAM), đọc O(n) bằng scatter-gather qua mọi shard rồi xếp hạng lại (Blender), khoảng 100 ms. - Tách đồng bộ: trước đây ghi tweet là đồng bộ; khoảng 2011 chuyển sang…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
465 triệu user/tháng; 19 tỉ tin vào và 40 tỉ tin ra mỗi ngày; 600 triệu ảnh, 200 triệu voice, 100 triệu video mỗi ngày.
- Deployment At Scale: Dream11's In-House Blue-Green Deployment Platform "OneClick" Bài tóm tắt · Dream11 · 2022
…alancer ; giờ cao điểm nhiều service vượt mức này nên phải "shard" qua nhiều load balancer từ trước. Thay đổi chính: các bước của OneClick 1. Chọn shard đủ điều kiện: phân loại loa…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
…này lan rộng hơn (executor, batches, CDC... crash-loop, hai shard queue dừng). Postgres về bình thường lúc 18:00 nhưng PgBouncer bão hoà thêm khoảng 10 phút vì hàng client chờ phải…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
Theo Optiver, giao dịch hệ thống dựa vào sức mạnh của "cỗ máy nghiên cứu": thí nghiệm hôm nay thành model, tín hiệu, kiểm tra rủi ro và hạn mức vị thế ngày mai. Vòng nghiên cứu: đặt giả thuyết → chạy thí nghiệm → đánh…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Vitess (PlanetScale/CNCF) Công ty Thành viên
Dự án mã nguồn mở, sinh ra ở YouTube khoảng 2010 khi tầng định tuyến shard được tách khỏi ứng dụng . Bài 2022 giải thích bước cut-over của online schema change: đệm query bằng ACL có hạn, đổi tên bảng để ghi trở nên bất…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
…ng tải nặng nhất. - Luồng: mỗi 10 phút một job Jenkins phát shard event , fan-out thành 256 shard event con; mỗi cái quét một shard của bảng email user cho múi giờ hiện tại và phát…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- New Tweets per second record, and how! Bài tóm tắt · Twitter · 2013
…ết nối DB tới render và public API). - Tweet lưu trên MySQL shard theo thời gian, một master : hot spot đọc/ghi, phải tạo DB mới ngày càng nhanh. - "Ném máy vào vấn đề"; code bị hy…