Tìm kiếm
28 kết quả cho “Kafka buffer”. Tìm không phân biệt dấu.
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…022/08/02/building-scalable-real-time-event-processing-with-kafka-and-flink/) Bối cảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowflake), tới nền tảng ML (feature…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…khó: Khó — [bài gốc](https://www.warpstream.com/blog/orbit-kafka-auto-migration) Bài của nhà cung cấp, giới thiệu tính năng sản phẩm (Orbit Auto Migration). Cơ chế được mô tả chi…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ow-we-build/scaling-streamhub-transitioning-from-kinesis-to-kafka-for-145-billion-daily-events) Bối cảnh - StreamHub là event bus của Atlassian (click, impression, API call, CDC, t…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…/www.uber.com/us/en/blog/introducing-ufowarder/) Bối cảnh - Kafka ở Uber xử lý hàng nghìn tỉ message và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một c…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Building a High-Throughput Metrics System Using Open Source Software Bài tóm tắt · Two Sigma · 2019
…thấy Elasticsearch không nhận nổi 50.000 message/giây; đặt Kafka làm bộ đệm như "bể nước" làm phẳng các đợt dồn. Chọn Kafka thay RabbitMQ vì đã có dạng dịch vụ nội bộ. 3. Chuyển t…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…ằng Protocol Buffers . API gửi bất đồng bộ bản protobuf vào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…Kiến trúc mới (làm từ cuối 2015): Logstash trên mỗi host → Kafka cục bộ ở mỗi data center (Ajna Local) → MirrorMaker qua WAN → Kafka tổng ở Secure Zone (hàng trăm broker; theo bài…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
…g lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua Kafka tới OLAP, heartbeat tới kho metric. - Quy mô: khoảng 2,5 PB log mỗi ngày , trung bình 105 TB/giờ (29,87 GB/s), đỉn…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…kho trung tâm: thêm một hệ chỉ phải nối vào một pipeline. - Kafka được dựng để ghép ý tưởng messaging với khái niệm log trong DB: đầu tiên làm pipeline trung tâm cho activity data…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…n nằm ở shard kia. Thay đổi chính - Đảm bảo thứ tự ghi bằng Kafka: - partition theo key: mọi lệnh ghi của cùng document vào cùng partition; - consumer giữ lock trên partition mình…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…kém hiệu quả hơn để service ổn định. Hướng tới: chuyển sang Kafka + schema registry, tạo topic bằng CI/CD. - Kết quả: thời gian để một team đưa dữ liệu vào lake từ vài tuần xuống v…
- Inside Minerva: building scalable observability for eBay's monetization platform Bài tóm tắt · eBay · 2026
Hệ tính phí (monetization) của eBay phụ thuộc khoảng 200 thuộc tính của item, seller, marketplace, campaign; eBay báo Q2/2026 có 136 triệu buyer, 2,6 tỉ listing. Một tổng toàn cục có thể trông bình thường trong khi một…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- eBay Công ty Thành viên
Hai bài về nhất quán và độ bền ở eBay: protocol GRIT (2019) cho giao dịch ACID xuyên microservice và nhiều DB bằng OCC + log + áp bất đồng bộ ; và các phương án chạy Kafka đa region khi event phải đúng thứ tự (2020),…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata.
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…i): ứng dụng Java phân tán, đọc Kinesis và Nakadi (lớp trên Kafka), giữ bid event trong cache bộ nhớ; tải tới khoảng 200 MB/s. - Hai giới hạn: - không chia partition gọn theo cả ha…