Tìm kiếm
15 kết quả cho “compaction shard”. Tìm không phân biệt dấu.
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…h khi series active tăng đột biến và thiếu guardrail query; compaction trễ với tenant lớn làm query lịch sử chậm và tốn tài nguyên; query lớn (hơn 5.000 series hoặc hơn 500 MB dữ l…
- How to debug large db size issue? Bài tóm tắt · etcd (CNCF) · 2023
…cc db total size in bytes , ... in use in bytes , quota). - Compaction + defragmentation: etcd là MVCC, giữ lịch sử mọi key. Compaction là cách duy nhất xoá lịch sử, nhưng không tr…
- Scaling Time Series Data Storage — Part II Bài tóm tắt · Netflix · 2018
…nửa chặng migrate): chỉ riêng shard theo loại đã cải thiện compaction, GC, latency; dư địa cho ít nhất 5 lần tăng trưởng; tiết kiệm nhờ nén và TTL. API cũ vẫn chạy (tương thích ng…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…nên gần 1,0) có gai; tổng băng thông commitlog + memtable + compaction chỉ khoảng 12,5 GB/s trên RAID 4 NVMe khoảng 14,5 GB/s. Gai ở flow ratio nghĩa là scheduler đang ép đĩa nhiều…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…có cha một triệu con, gây hot spot, mutation bị bỏ, áp lực compaction. Sửa: thêm shard key vào partition key (mỗi shard tối đa 1.000 con, giữ partition dưới khoảng 10 MB với hàng…
- etcd Công ty Thành viên
Hai nguồn của etcd trong wiki. Hướng dẫn triển khai trên AWS EC2 (đăng 2017): theo etcd, kho đồng thuận mạnh thêm node là thêm độ bền nhưng ghi chậm đi, nên scale dọc chứ không scale ngang; ASG dùng để giữ số node chứ…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…ọc/ghi ở mức quorum, latency của một node lan ra cả cụm. 2. Compaction tụt hậu: đọc đắt hơn, latency dây chuyền. Đội vận hành phải làm "gossip dance": rút node ra cho compact, đưa…