Tìm kiếm
30 kết quả cho “Kafka Connect”. Tìm không phân biệt dấu.
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…— [bài gốc](https://www.zillow.com/tech/how-to-pitch-apache-kafka/) Bài quan điểm của một kỹ sư Data Platform về cách thuyết phục lãnh đạo đầu tư Kafka; phần về Zillow là quyết địn…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…t, tiến trình crash. - Kiến trúc: scheduler đẩy message vào Kafka → fan-out tới các checker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer group) → checker gửi kết…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…ẫn bản test của Data Streaming Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selenium + ChromeDriver thao tác trang như n…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…lớn đầy trên 90%. Thay đổi chính - Kéo dữ liệu từ OLTP vào Kafka bằng Kafka Connect: Debezium (CDC đọc binlog) và JDBC source (query định kỳ). - Bài học theo Dream11: Debezium đọc…
- Accelerating real-time alerts with Redpanda: a successful migration story Bài tóm tắt · Redpanda · 2023
…gốc](https://www.redpanda.com/blog/equal-experts-migration-kafka-redpanda) Bài khách (Eric Laguer, Equal Experts, một công ty dịch vụ IT) đăng trên blog của nhà cung cấp, kể dự án…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…service có hai API: gRPC cho CRUD, và một API streaming qua Kafka phát lại chính các thay đổi đó để service phía sau khỏi phải poll. - Bài toán: thao tác CRUD nằm trong một giao dị…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
…mỗi lần một tủ rack có thể mất kết nối 15–25 phút. Hạ tầng Kafka nội bộ lẽ ra phải chịu được và tự nối lại. Nhiều tháng năm 2026, nó không chịu được: process segfault, rò hàng tră…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…à phục hồi của nó. - Theo bài, phần khó không phải nối DB → Kafka → Snowflake mà là bốn câu hỏi xung quanh. Thay đổi chính - Hai đường với điểm mạnh khác nhau: batch dựng snapshot…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…o nền tảng quản lý, đọc binlog và đẩy sự kiện CDC vào topic Kafka đứng trước nguồn; ứng dụng cũng có thể tự phát event qua thư viện chung (khi chưa có connector, hoặc muốn phát dom…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
…g lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua Kafka tới OLAP, heartbeat tới kho metric. - Quy mô: khoảng 2,5 PB log mỗi ngày , trung bình 105 TB/giờ (29,87 GB/s), đỉn…
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
…/blog/gcp-outage-june-redpanda-cloud) Bài của nhà cung cấp (Kafka-compatible streaming), có phần quảng bá; mọi nhận định là theo Redpanda. Cùng ngày sự cố với . Bối cảnh - 12/6/202…
- Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure Bài tóm tắt · Spotify · 2023
…tầng trên cloud rất khác nhau giữa team (tự chạy Cassandra, Kafka, Elasticsearch, Postgres như thời on-prem). Khuyến nghị thay đổi theo thời gian, nhưng không có cơ chế đưa hạ tầng…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…o region: CDC bằng Debezium (trên Kubernetes) từ Postgres → Kafka → Spark → data lake của region. Search của workspace EU có cụm Elasticsearch riêng, chỉ index dữ liệu EU. - AI the…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…vì đều cần kết nối tới Postgres. - Loại outbox + Debezium + Kafka: streaming theo thời gian thực thì tốt, nhưng theo Allegro lỗi kết nối hay lỗi consumer có thể gây mất hoặc trùng;…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…i): ứng dụng Java phân tán, đọc Kinesis và Nakadi (lớp trên Kafka), giữ bid event trong cache bộ nhớ; tải tới khoảng 200 MB/s. - Hai giới hạn: - không chia partition gọn theo cả ha…
- Scaling with common sense #2: Being future ready Bài tóm tắt · Zerodha · 2021
…ềm mã nguồn mở: tự chạy Postgres, MySQL, ClickHouse, Redis, Kafka, ELK, Sentry, Grafana, GitLab... Theo Zerodha, cách này vừa rẻ (ví dụ hệ ticket hỗ trợ cho hơn 1.000 người dưới 10…