Tìm kiếm
23 kết quả cho “WAL streaming”. Tìm không phân biệt dấu.
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…số dòng. - Có chỗ trung gian rẻ cho ghi nhỏ (bảng trong DB, WAL, buffer bền) rồi mới đổ thành file lớn là mẫu chung: so với WarpStream gom batch trước khi PUT. - Thận trọng với ben…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…2. Tăng trưởng · Độ khó: Dễ — [bài gốc](https://medium.com/walmartlabs/how-we-build-a-robust-analytics-platform-using-spark-kafka-and-cassandra-lambda-architecture-70c2d1bc8981) B…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…ng cần biết; giữ một transaction đọc dài để chặn checkpoint WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server thì khôi phục DB ở má…
- Pushing Postgres beyond storage: scaling performance at Optiver Bài tóm tắt · Optiver · 2026
…hông lớp điều phối. Postgres đã có log đầy đủ mọi thay đổi (WAL), nên bài toán thành "biến WAL thành thứ dùng được". - Logical decoding + output plugin tự viết: WAL thô mô tả byte…
- Member Transaction History: Data Store Selection Journey Bài tóm tắt · Walmart · 2019
…2. Tăng trưởng · Độ khó: Dễ — [bài gốc](https://medium.com/walmartlabs/member-transaction-history-architecture-8b6e34b87c21) Bài ngắn, mô tả lựa chọn lúc thiết kế; không có số liệ…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…g chậm và phức tạp. Thay đổi chính - CDC bằng Debezium: đọc WAL của Postgres và đẩy thay đổi lên Kafka; giao dịch commit thì thay đổi chắc chắn được phát, không phải tự xử lý các c…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- How we used delayed replication for disaster recovery with PostgreSQL Bài tóm tắt · GitLab · 2019
…ITR (point-in-time recovery): base backup định kỳ + lưu trữ WAL (trên Google Cloud Storage) để khôi phục về bất kỳ thời điểm nào. - Delayed replica: một replica áp WAL trễ 8 giờ (…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Kubernetes Công ty Thành viên
Hai nguồn đầu của dự án Kubernetes trong wiki kể quyết định kiến trúc nằm bên trong nền tảng mà nhiều công ty khác dựng lên trên. Năm 2018, kube-proxy dùng iptables (danh sách luật vốn cho firewall) là nút cổ chai thật…
- Clear Street Công ty Thành viên
Nguồn duy nhất của Clear Street (hạ tầng môi giới chứng khoán, thành lập 2018) trong wiki là bài 2020 về transactional outbox: mỗi service có API gRPC và API streaming qua Kafka; Debezium chỉ nghe các bảng hậu tố events…
- How We Built Fly Postgres Bài tóm tắt · Fly.io · 2022
…, một replica gần đó qua streaming replication bất đồng bộ (WAL). Postgres không tự failover, nên dùng Stolon (Go): sentinel quyết định leader, keeper quản từng Postgres, proxy địn…
- Uncached I/O in Prometheus Bài tóm tắt · Prometheus · 2026
…y disk I/O tệ đi đo được. - Việc còn lại: phủ thêm index và WAL; thêm test (chạy toàn bộ test TSDB với build tag ép direct I/O, có ý tưởng kiểm chứng hình thức rằng writer không vi…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…RAM/đĩa. Prometheus ghi đĩa cục bộ và song song đẩy remote; WAL giữ dữ liệu khi remote không sẵn sàng. Khoảng 56 tỉ data point sau dọn theo retention, ingest hàng chục nghìn series…