Tìm kiếm
38 kết quả cho “log compaction”. Tìm không phân biệt dấu.
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ài gốc](http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kreps (khi đó ở Linked…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…chỉnh · Độ khó: Khó — [bài gốc](https://www.warpstream.com/blog/the-art-of-being-lazy-log-lower-latency-and-higher-availability-with-delayed-sequencing) Bài của nhà cung cấp ra mắt…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…nguyên. Thay đổi chính - DuckLake dùng một database làm catalog (SQLite, Postgres...). Thay đổi nhỏ hơn ngưỡng (mặc định 10 dòng, chỉnh được theo global/schema/bảng) được ghi thẳng…
- Value Separation in Pebble: Storage Engine Optimization Bài tóm tắt · Cockroach Labs · 2026
…nh · Độ khó: Khó — [bài gốc](https://www.cockroachlabs.com/blog/value-separation-pebble-optimization/) Bài của nhà cung cấp về storage engine của chính họ; số liệu do họ tự đo trên…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…abs, metadata của lakehouse nên nằm trong một database (catalog) chứ không rải thành file trên object storage như Iceberg và Delta. Catalog là bất kỳ hệ nào nói SQL, có primary key…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…hành process , file . - Ba thành phần được ảo hoá: session (log chỉ-ghi-thêm mọi chuyện đã xảy ra), harness ("bộ não": model + vòng lặp), sandbox ("đôi tay": môi trường chạy code,…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…ô lớn · Độ khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/high-throughput-processing/) Bối cảnh - Gulfstream , nền tảng thanh toán lõi của Uber: kế toán bút toán kép, tuân th…
- How to debug large db size issue? Bài tóm tắt · etcd (CNCF) · 2023
…iều chỉnh · Độ khó: Trung bình — [bài gốc](https://etcd.io/blog/2023/how to debug large db size issue/) Bài hướng dẫn vận hành của maintainer etcd, không kể một sự cố cụ thể; giữ v…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…liệu lạ, cần biết trong cây đó có gì. Nội dung chính - Catalog giữ đúng một trạng thái thay đổi được: con trỏ tới file metadata.json hiện tại của mỗi bảng. Mọi file khác bất biến…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…ăng trưởng · Độ khó: Trung bình — [bài gốc](https://fly.io/blog/litestream-revamped/) Bài của tác giả Litestream (Ben Johnson, Fly.io); một phần là kế hoạch chưa triển khai. Bối cả…
- Scaling Time Series Data Storage — Part I Bài tóm tắt · Netflix · 2018
…mô lớn · Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/scaling-time-series-data-storage-part-i-ec2b6d44ba39) Bối cảnh - Lịch sử xem (viewing history) dùng cho bookmark…
- Uncached I/O in Prometheus Bài tóm tắt · Prometheus · 2026
…Điều chỉnh · Độ khó: Khó — [bài gốc](https://prometheus.io/blog/2026/03/05/uncached-io/) Bài ngắn của maintainer giới thiệu feature flag thử nghiệm. Bài toán chung: dữ liệu ghi xon…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…es active trung bình, 50 triệu sample/giây , 2,5 PB dữ liệu logic. - Yêu cầu: hơn 50 triệu sample/giây, tới 10.000 dashboard và 500.000 alert, p99 thời gian query dưới 30 giây . Th…
- Running a Software Factory Efficiently at Uber Scale Bài tóm tắt · Uber · 2026
…Độ khó: Trung bình — [bài gốc](https://www.uber.com/us/en/blog/efficient-software-factory/) Bối cảnh - AI có mặt ở mọi pha phát triển phần mềm ở Uber (2026): hơn 70% pull request…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…mô lớn · Độ khó: Nâng cao — [bài gốc](https://discord.com/blog/how-discord-stores-trillions-of-messages) Bối cảnh - Tiếp nối . Cụm cassandra-messages tăng từ 12 node (2017) lên 17…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…tốc độ dispatch, nên gần 1,0) có gai; tổng băng thông commitlog + memtable + compaction chỉ khoảng 12,5 GB/s trên RAID 4 NVMe khoảng 14,5 GB/s. Gai ở flow ratio nghĩa là scheduler…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…g đời giao config: commit vào Sitar Service (version, changelog, ACL) → Snapshot Service mỗi giờ đóng gói toàn bộ config lên S3 → khi pod khởi động, sidecar chạy trước, tải snapsho…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…liệu vào Kafka từ database qua Debezium (CDC) , topic dùng log compaction nên giữ giá trị mới nhất mỗi key, như một snapshot liên tục. - Sink : consumer đọc topic, áp business rul…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ộ khó: Trung bình — [bài gốc](https://www.alibabacloud.com/blog/in-the-ai-era-real-time-data-lake-ingestion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…, không bảo đảm giữa nhiều cluster. Topic listing lại dùng log compaction và tombstone. Bốn phương án (theo tác giả) 1. Active/active + mirror topic (MirrorMaker 2 tạo topic có ti…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ô lớn · Độ khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/apache-hudi-at-uber/) Bối cảnh - Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan tr…
- Evolution of Application Data Caching: From RAM to SSD Bài tóm tắt · Netflix · 2018
…khó: Trung bình — [bài gốc](https://medium.com/netflix-techblog/evolution-of-application-data-caching-from-ram-to-ssd-a33d6fa7a690) Bối cảnh - EVCache (từ 2013): cache phân tán dựa…
- How we moved our Food Feed from Redis to Cassandra Bài tóm tắt · Zomato · 2016
…ăng trưởng · Độ khó: Dễ — [bài gốc](https://www.zomato.com/blog/how-we-moved-our-food-feed-from-redis-to-cassandra) Bối cảnh - Food Feed là một phần của social graph: review, ảnh c…
- How Discord Automates ScyllaDB Clusters at Scale Bài tóm tắt · Discord · 2026
…chỉnh · Độ khó: Trung bình — [bài gốc](https://discord.com/blog/how-discord-automates-scylladb-clusters-at-scale) Bối cảnh - Đội Persistence Infrastructure 7 người vận hành Elastic…
- DynamoDB: Why migrate to DynamoDB from Cassandra? Bài tóm tắt · Expedia · 2018
…tiền. - Nội bộ bị che: khi có hot spot thì muốn xem access log phải mở ticket với AWS. - Khi dữ liệu tăng, các partition chia nhau đúng lượng RCU/WCU đã cấp, nên phải tăng thêm nế…
- Scaling Time Series Data Storage — Part II Bài tóm tắt · Netflix · 2018
…y mô lớn · Độ khó: Nâng cao — [bài gốc](https://netflixtechblog.com/scaling-time-series-data-storage-part-ii-d67939655586) Bối cảnh - 1/2016 Netflix mở ra 130 nước, 20 ngôn ngữ; cu…
- Integrated Gauges: Lessons Learned Monitoring Seastar's IO Stack Bài tóm tắt · ScyllaDB · 2026
…cho thấy tải đĩa giảm dần theo thời gian. - Hàng đợi commitlog: bản tích phân có một gai hình chữ nhật rõ rệt mà bản scrape hoàn toàn không thấy. - Giá trị trung bình có phần thập…