Tìm kiếm
20 kết quả cho “Debezium”. Tìm không phân biệt dấu.
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…guyên tắc nhưng chậm và phức tạp. Thay đổi chính - CDC bằng Debezium: đọc WAL của Postgres và đẩy thay đổi lên Kafka; giao dịch commit thì thay đổi chắc chắn được phát, không phải…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ểm (nhất quán giao dịch, là mốc phục hồi và kiểm tra); CDC (Debezium đọc binlog MySQL → Kafka → sink Snowflake) tối ưu độ tươi. Một bảng CDC có thể tươi hơn, nhưng hai bảng CDC liê…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…i chính - Kéo dữ liệu từ OLTP vào Kafka bằng Kafka Connect: Debezium (CDC đọc binlog) và JDBC source (query định kỳ). - Bài học theo Dream11: Debezium đọc binlog thêm tải lên datab…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…g: (1) chuyển record (giải mã Avro/Protobuf, unwrap CDC của Debezium, gắn topic/partition/offset); (2) tự tiến hoá schema với thay đổi tương thích (thêm cột optional, bắt buộc → op…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…tream CDC) vì đều cần kết nối tới Postgres. - Loại outbox + Debezium + Kafka: streaming theo thời gian thực thì tốt, nhưng theo Allegro lỗi kết nối hay lỗi consumer có thể gây mất…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…nh lên S3, replicate phần DB liên quan sang AWS qua Kafka + Debezium, đổi PHP sang Python, thêm pipeline sinh ID ảnh mới nhưng phải giữ bảng ánh xạ ID cũ ↔ mới vì vài team còn dùng…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…ữ liệu giữa các hệ. Nhiều dữ liệu vào Kafka từ database qua Debezium (CDC) , topic dùng log compaction nên giữ giá trị mới nhất mỗi key, như một snapshot liên tục. - Sink : consume…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Clear Street Công ty Thành viên
Nguồn duy nhất của Clear Street (hạ tầng môi giới chứng khoán, thành lập 2018) trong wiki là bài 2020 về transactional outbox: mỗi service có API gRPC và API streaming qua Kafka; Debezium chỉ nghe các bảng hậu tố events…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Dream11 Công ty Thành viên
Fantasy sports với hơn 100 triệu user, traffic dồn theo từng trận đấu nhanh hơn autoscaling phản ứng. Dream11 dự báo concurrency theo giờ, kiểm năng lực bằng game day, rồi scale chủ động theo bậc trước, trong và sau…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…ụ mã nguồn mở (Maxwell, SpinalTap, MySQL Streamer của Yelp, Debezium) có ít nhất một hạn chế: dừng xử lý log khi đang dump, không dump theo yêu cầu được, khoá bảng (chặn ghi), hoặc…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…iễn phí" về mặt mẫu hình. - Data lake theo region: CDC bằng Debezium (trên Kubernetes) từ Postgres → Kafka → Spark → data lake của region. Search của workspace EU có cụm Elasticsea…
- Pushing Postgres beyond storage: scaling performance at Optiver Bài tóm tắt · Optiver · 2026
…) và dừng lại ở đó. Liên quan - (cũng đọc WAL Postgres, qua Debezium) · (tip recovery = snapshot + stream) - · ·…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…quán có được nhờ ghi DB bên trong consumer, hoặc dùng CDC (Debezium); - một service chỉ ghi consume topic, lấy riêng phần "Installed Apps" rồi ghi vào DB của nó (một materialized…