Tìm kiếm
40 kết quả cho “CDC”. Tìm không phân biệt dấu.
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…o — [bài gốc](https://planetscale.com/blog/postgres-ha-with-cdc) Bài khái niệm của nhà cung cấp (PlanetScale bán cả MySQL/Vitess lẫn Postgres); mọi nhận định là theo PlanetScale. B…
- TimescaleDB to ClickHouse replication: Use cases, features, and how we built it Bài tóm tắt · ClickHouse · 2025
…tps://clickhouse.com/blog/timescale-to-clickhouse-clickpipe-cdc) Bài quảng bá sản phẩm của nhà cung cấp (ClickPipes, dựa trên PeerDB mà ClickHouse mua năm 2024). Mọi nhận định về h…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…, nhất quán giao dịch, nhưng độ tươi tính bằng giờ. Họ thêm CDC để thay đổi có mặt trong vài phút, giữ nguyên batch vì những bảo đảm nhất quán và phục hồi của nó. - Theo bài, phần…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…được về nguyên tắc nhưng chậm và phức tạp. Thay đổi chính - CDC bằng Debezium: đọc WAL của Postgres và đẩy thay đổi lên Kafka; giao dịch commit thì thay đổi chắc chắn được phát, kh…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…uồn sự thật (MySQL), các kho khác dẫn xuất (Elasticsearch). CDC thay cho dual write và transaction phân tán. - Transaction log có thời hạn lưu nên cần thêm dump để có toàn bộ trạng…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…, đổi lại không chạy song song được. - Chỉ stream phần đổi (CDC): dù gallery tính lại toàn bộ khi một ảnh đổi, chỉ gửi bản ghi thay đổi bằng cách so với snapshot hôm trước (thêm, đ…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…tới bảng: (1) chuyển record (giải mã Avro/Protobuf, unwrap CDC của Debezium, gắn topic/partition/offset); (2) tự tiến hoá schema với thay đổi tương thích (thêm cột optional, bắt b…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…ụ GCP (Dataflow, BigQuery Data Transfer Service, Datastream CDC) vì đều cần kết nối tới Postgres. - Loại outbox + Debezium + Kafka: streaming theo thời gian thực thì tốt, nhưng the…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…(plugin mã nguồn mở) - Lấy mẫu của database: copy ban đầu + CDC phát lại mọi thay đổi + cutover ngắn . OpenSearch không có API CDC công khai nhưng có hai khối: - Lucene changes sna…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…à đội đã có kinh nghiệm từ dự án tracing . - Kiến trúc mới: CDC liên tục từ time-series DB vào bảng ReplicatedReplacingMergeTree (khử trùng theo ID duy nhất khi merge, nên chịu đượ…
- Migrating billions of records: moving our active DNS database while it's in use Bài tóm tắt · Cloudflare · 2024
…hay foreign key. Change Data Capture and Transfer Service (CDCTS), tự viết: - Trigger ghi trạng thái mới của mỗi hàng (I/U/D) vào bảng log log cf rec . - Chép ban đầu theo lô 1 tr…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…Kéo dữ liệu từ OLTP vào Kafka bằng Kafka Connect: Debezium (CDC đọc binlog) và JDBC source (query định kỳ). - Bài học theo Dream11: Debezium đọc binlog thêm tải lên database ; JDBC…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…ghi: cache updater và bootstrapper là job Samza đọc stream CDC và stream bootstrap của Brooklin . Nhất quán cuối cùng. - Hợp đồng cache theo request: header "staleness bound" để ứ…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…à một dịch vụ do data warehouse tự quản . - Hai hệ đều dùng CDC : một bảng full dump, một bảng delta và bảng đích. Dữ liệu đã land được dùng để sinh dữ liệu mới, nên lỗi lan truyền…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…như một sản phẩm pipeline stream được quản lý hoàn toàn cho CDC của Studio. Thay đổi chính - Định nghĩa rộng hơn: nền tảng chung để di chuyển và xử lý dữ liệu giữa các hệ của Netfl…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…g file thay thế: write amplification . Update nhỏ, rải rác (CDC MERGE, DELETE có chọn lọc) là trường hợp tệ nhất. - Snowflake còn giữ thống kê cột chính xác cho dữ liệu còn sống để…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…thì pod ở region B vẫn trả giá trị cũ. Một sync service đọc CDC của DynamoDB qua Kinesis Data Streams và đẩy thành message Kafka nội bộ (một topic mỗi bảng); một dispatcher có bảng…
- Utilizing Amazon DynamoDB and AWS Lambda for Asynchronous Event Publication Bài tóm tắt · Zalando · 2022
…a phía sau. - Không có bảng outbox riêng: DynamoDB Streams (CDC) đóng vai outbox, mỗi thay đổi item đẩy old image + new image vào stream. - Lambda (Python) đọc stream, dựng event g…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
…estart cache; invalidate cache theo mutation phát ra từ DB (CDC); lưu trên Aurora thay vì Spanner. Giữ hedging, cache phân tầng, load shedding như Zanzibar. - Số liệu (3/2021): từ…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…e rồi failover (gần như không downtime, phải đổi endpoint), CDC qua Kafka (vượt được khác biệt topo, ví dụ Redis 6 shard sang 3 shard; thêm hạ tầng). Theo LY, không thể để DBA tự m…
- Open sourcing Databus: LinkedIn's low latency change data capture system Bài tóm tắt · LinkedIn · 2013
…2005, bản hiện tại production từ 2011, open source 2/2013): CDC độ trễ mili giây, hàng nghìn sự kiện/giây mỗi server; nguồn Oracle và MySQL. - Relay kéo thay đổi đã commit từ DB và…
- Authorization at LinkedIn's Scale Bài tóm tắt · LinkedIn · 2019
…Espresso, Couchbase làm cache phía server; khi ACL bị sửa, CDC qua Brooklin báo để xoá cache. - Log mọi lần check bất đồng bộ qua Kafka để debug, phân tích traffic và phục vụ audi…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…ần như "miễn phí" về mặt mẫu hình. - Data lake theo region: CDC bằng Debezium (trên Kubernetes) từ Postgres → Kafka → Spark → data lake của region. Search của workspace EU có cụm E…
- Pushing Postgres beyond storage: scaling performance at Optiver Bài tóm tắt · Optiver · 2026
…g vẫn có trần); chỉ có dữ liệu trong WAL. Bài học cho SWE - CDC từ WAL cho phép phát thay đổi mà không đổi cách ghi, tránh dual-write. - Fan-out tới hàng nghìn subscriber cần một t…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…chunk metadata service để định tuyến tới shard; ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform , ban đầu để scale ngang vượt giới hạn dọc của MongoDB…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…thành stream: full extract + delta có checkpoint , một dạng CDC tự làm ở mức ứng dụng (). - Chấp nhận at-least-once ở producer và khử trùng ở consumer thường đơn giản hơn cố đạt ex…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.