Tìm kiếm
40 kết quả cho “Compaction”. Tìm không phân biệt dấu.
- Value Separation in Pebble: Storage Engine Optimization Bài tóm tắt · Cockroach Labs · 2026
…Bối cảnh - CockroachDB ghi KV xuống Pebble , một LSM tree: compaction chạy nền liên tục đọc các SSTable, merge theo key, ghi lại. Compaction giảm read amplification nhưng tốn CPU,…
- How to debug large db size issue? Bài tóm tắt · etcd (CNCF) · 2023
…cc db total size in bytes , ... in use in bytes , quota). - Compaction + defragmentation: etcd là MVCC, giữ lịch sử mọi key. Compaction là cách duy nhất xoá lịch sử, nhưng không tr…
- Scaling Time Series Data Storage — Part I Bài tóm tắt · Netflix · 2018
…thời gian, phân trang đều chậm dần; nhiều SSTable phải đọc, compaction và repair nặng hơn. - Thêm EVCache trước Cassandra: key CustomerId , value là lịch sử nén; mỗi lần ghi kiểm t…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…h khi series active tăng đột biến và thiếu guardrail query; compaction trễ với tenant lớn làm query lịch sử chậm và tốn tài nguyên; query lớn (hơn 5.000 series hoặc hơn 500 MB dữ l…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…e thành một file chỉ giữ phiên bản mới nhất của mỗi trang ( compaction kiểu LSM), nên khôi phục tới một thời điểm mà ít trang trùng. - Lease bằng conditional write của object stora…
- Uncached I/O in Prometheus Bài tóm tắt · Prometheus · 2026
…rometheus là một database, ghi rất nhiều xuống đĩa. Ghi lúc compaction là ví dụ rõ nhất của dữ liệu không đáng cache: block ghi xong chỉ một phần nhỏ được query lại sớm, và không đ…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…Parquet và hơn 300 file metadata. - Cách chữa quen thuộc là compaction định kỳ gộp file nhỏ. Nhưng nó không chữa lúc ghi (vẫn trả tiền tạo file nhỏ), chưa chạy thì query vẫn chậm,…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ate của stream processor là bảng dẫn xuất từ changelog; log compaction giữ bản ghi mới nhất mỗi key thay vì xoá theo thời gian. - Luận điểm "unbundled database": nhìn cả tổ chức nh…
- Running a Software Factory Efficiently at Uber Scale Bài tóm tắt · Uber · 2026
AI có mặt ở mọi pha phát triển phần mềm ở Uber (2026): hơn 70% pull request được ghi cho agent chạy local hoặc cloud; engineer đã viết hơn 3.600 agent skill, hơn 30.000 lượt chạy skill mỗi ngày. Ngày càng nhiều phiên do…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…trong bộ đệm, micro-batch 32 MB, file đích 64 MB, cuối cùng compaction nền. Partition theo trường, theo thời gian, bucket, truncate, kết hợp nhiều chiều. Vì sao - Theo Alibaba: đườ…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…hông bảo đảm giữa nhiều cluster. Topic listing lại dùng log compaction và tombstone. Bốn phương án (theo tác giả) 1. Active/active + mirror topic (MirrorMaker 2 tạo topic có tiền t…
- etcd Công ty Thành viên
Hai nguồn của etcd trong wiki. Hướng dẫn triển khai trên AWS EC2 (đăng 2017): theo etcd, kho đồng thuận mạnh thêm node là thêm độ bền nhưng ghi chậm đi, nên scale dọc chứ không scale ngang; ASG dùng để giữ số node chứ…
- Evolution of Application Data Caching: From RAM to SSD Bài tóm tắt · Netflix · 2018
…kỳ. Nhưng không chuyển được các cụm online lớn : ghi đè gây compaction trên RocksDB, ảnh hưởng throughput và đôi khi vượt SLA. Compaction kiểu FIFO cũng làm chỉ dùng được tối đa ~5…
- Prometheus Công ty Thành viên
Nguồn đầu tiên của dự án Prometheus trong wiki là thay đổi giao thức remote read ở bản 2.13 (2019): thay vì gom toàn bộ kết quả chưa nén vào một message protobuf (tới 2,5 GB mỗi bên cho 10.000 series), server stream…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…nên gần 1,0) có gai; tổng băng thông commitlog + memtable + compaction chỉ khoảng 12,5 GB/s trên RAID 4 NVMe khoảng 14,5 GB/s. Gai ở flow ratio nghĩa là scheduler đang ép đĩa nhiều…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…t mỗi ngày; 350.000 commit/ngày; 70.000 lượt table service (compaction, clean, clustering) mỗi ngày; 4 triệu query/tuần qua Presto và Spark; bảng lớn nhất trên 400 tỉ dòng cập nhật…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…có cha một triệu con, gây hot spot, mutation bị bỏ, áp lực compaction. Sửa: thêm shard key vào partition key (mỗi shard tối đa 1.000 con, giữ partition dưới khoảng 10 MB với hàng…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…ng bằng KeyedCoProcessFunction với point lookup và TTL bằng compaction. Riêng operator join giảm từ 30–60 xuống 10 core, từ 150–300 GB xuống 50 GB RAM. - Không còn timer nên state…
- How we moved our Food Feed from Redis to Cassandra Bài tóm tắt · Zomato · 2016
…, còn ghi thì scale theo số node. - Tránh xoá: xoá kéo theo compaction, và trong lúc compaction node gần như vô dụng. - EBS dùng mạng nên là nút cổ chai IO; theo dõi GC của JVM ( j…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…B nhanh nhất (đọc nhanh hơn SQLite 2–3 lần) nhưng phải tune compaction, block cache, ít thư viện đa ngôn ngữ đều tay; SQLite có binding chính thức cho cả 5 ngôn ngữ, WAL cho đọc tr…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…i trước một hành động); biến đổi context (cho prompt cache, compaction) là việc của harness. Lưu trữ bền và quản lý context được tách ra vì không đoán được model tương lai cần gì.…
- Cockroach Labs Công ty Thành viên
Bài 2026 của Cockroach Labs nói về bên trong storage engine Pebble của CockroachDB: từ v25.4 (bật trong benchmark nightly cuối 6/2025), value lớn được tách khỏi key ra blob file để compaction chỉ chép handle; theo…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…ọc/ghi ở mức quorum, latency của một node lan ra cả cụm. 2. Compaction tụt hậu: đọc đắt hơn, latency dây chuyền. Đội vận hành phải làm "gossip dance": rút node ra cho compact, đưa…
- How Discord Automates ScyllaDB Clusters at Scale Bài tóm tắt · Discord · 2026
…t để retry an toàn. Condition là task chờ trạng thái (ví dụ compaction về mức bình thường) bằng cách poll API Scylla/Prometheus, có cửa sổ thành công liên tục và timeout, thay cho…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…n cột theo file). - Bảo trì (expire snapshot, gộp manifest, compaction file xoá) là phần bắt buộc của vận hành lake, không phải tuỳ chọn. - Thứ tự ghi dữ liệu quyết định hiệu quả b…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…log, CHECKPOINT mới đổ ra Parquet. - Sorted tables (sắp khi compaction, flush, và tuỳ chọn lúc insert) để thu hẹp cận min/max và bỏ được nhiều file; bucket partitioning bằng murmur…
- DynamoDB: Why migrate to DynamoDB from Cassandra? Bài tóm tắt · Expedia · 2018
…lỗi để retry Vận hành Tự chọn instance, EBS hay ephemeral, compaction, tombstone, VPN đa region Managed Capacity planning Phải dựng ring rồi test Tính được: mỗi partition 3.000 RC…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- Scaling Time Series Data Storage — Part II Bài tóm tắt · Netflix · 2018
…nửa chặng migrate): chỉ riêng shard theo loại đã cải thiện compaction, GC, latency; dư địa cho ít nhất 5 lần tăng trưởng; tiết kiệm nhờ nén và TTL. API cũ vẫn chạy (tương thích ng…