Tìm kiếm
40 kết quả cho “Kafka consumer”. Tìm không phân biệt dấu.
- How We Cut Kafka Consumer Deployment Costs by 83% Bài tóm tắt · trivago · 2026
…ài gốc](https://tech.trivago.com/post/2026-06-12-how-we-cut-kafka-consumer-deployment-costs-by-83) Bối cảnh - PSE-kafka consume message giá khách sạn từ Kafka và đẩy quảng cáo sang…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…/www.uber.com/us/en/blog/introducing-ufowarder/) Bối cảnh - Kafka ở Uber xử lý hàng nghìn tỉ message và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một c…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…lớn · Độ khó: Khó — [bài gốc](https://www.zillow.com/news/zkafka-by-zillow-go-library-for-simplifying-kafka-consumption/) Bối cảnh - Năm năm qua Kafka dùng rộng ở Zillow: cụm nội…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…ago.com/post/2026-02-18-from-always-on-to-on-demand-scaling-kafka-sinks-with-keda) Bối cảnh - trivago dùng Kafka làm lớp vận chuyển dữ liệu giữa các hệ. Nhiều dữ liệu vào Kafka từ…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…ình — [bài gốc](https://dropbox.tech/infrastructure/finding-kafkas-throughput-limit-in-dropbox-infrastructure) Bối cảnh - Kafka ở Dropbox phục vụ analytics, ML, monitoring, search,…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…g bình — [bài gốc](https://engineeringblog.yelp.com/2022/03/kafka-on-paasta-part-two.html) Phần 2 (migration). Phần 1 (kiến trúc): . Bối cảnh Chuyển các cụm Kafka đang chạy từ EC2…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…c](https://technology.doximity.com/articles/taking-our-ruby-kafka-stack-to-the-next-level) Bối cảnh - Mọi app Rails ở Doximity nói chuyện với Kafka qua gem nội bộ dox-messaging , v…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…— [bài gốc](https://www.zillow.com/tech/how-to-pitch-apache-kafka/) Bài quan điểm của một kỹ sư Data Platform về cách thuyết phục lãnh đạo đầu tư Kafka; phần về Zillow là quyết địn…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…— [bài gốc](https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components/) Bối cảnh - Kafka ở Slack là xương sống của Job Queue (), pipeline log, tra…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…ayinc.com/engineering/resiliency-and-disaster-recovery-with-kafka/) Bối cảnh - Team Motors Vertical (eBay Classifieds Group) chạy phần mềm ở nhiều region , định kỳ diễn tập tắt cả…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…— [bài gốc](https://www.warpstream.com/blog/robinhood-swaps-kafka-for-warpstream-to-tame-logging-workloads-and-costs) Nhà cung cấp viết lại talk của hai engineer Robinhood (Ethan C…
- 1M messages per second: Applying E2EE to Apache Kafka in the LINE app Bài tóm tắt · LINE (LY Corp) · 2026
…c](https://techblog.lycorp.co.jp/en/applying-e2ee-to-apache-kafka-in-line-app) Wiki chỉ ghi phần liên quan tới vận hành và migration; phần mật mã tóm tắt ngắn. Bối cảnh - Một topic…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…hó: Trung bình — [bài gốc](https://engineering.linkedin.com/kafka/running-kafka-scale) Bối cảnh - Năm 2015 Kafka chạm gần như mọi server LinkedIn: hơn 800 tỷ message/ngày (175 TB v…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…khó: Khó — [bài gốc](https://www.warpstream.com/blog/orbit-kafka-auto-migration) Bài của nhà cung cấp, giới thiệu tính năng sản phẩm (Orbit Auto Migration). Cơ chế được mô tả chi…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ow-we-build/scaling-streamhub-transitioning-from-kinesis-to-kafka-for-145-billion-daily-events) Bối cảnh - StreamHub là event bus của Atlassian (click, impression, API call, CDC, t…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…gốc](https://monzo.com/blog/how-we-built-a-queue-on-top-of-kafka) Bối cảnh - Messaging bất đồng bộ có trong kiến trúc microservices của Monzo từ đầu. Ban đầu dùng NSQ : tiện kiểu…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…t, tiến trình crash. - Kiến trúc: scheduler đẩy message vào Kafka → fan-out tới các checker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer group) → checker gửi kết…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…kém hiệu quả hơn để service ổn định. Hướng tới: chuyển sang Kafka + schema registry, tạo topic bằng CI/CD. - Kết quả: thời gian để một team đưa dữ liệu vào lake từ vài tuần xuống v…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…Phần 1: . Bối cảnh Ba mẫu tiếp theo của team data-streams (Kafka cho hơn 1.400 microservice), dựng trên thư viện consumer Greyhound do Wix tự viết và mở mã nguồn. Thay đổi chính 4…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
…mỗi lần một tủ rack có thể mất kết nối 15–25 phút. Hạ tầng Kafka nội bộ lẽ ra phải chịu được và tự nối lại. Nhiều tháng năm 2026, nó không chịu được: process segfault, rò hàng tră…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…umer : ảnh lên S3, replicate phần DB liên quan sang AWS qua Kafka + Debezium, đổi PHP sang Python, thêm pipeline sinh ID ảnh mới nhưng phải giữ bảng ánh xạ ID cũ ↔ mới vì vài team…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…/2, tác giả thuộc team data-streams (hạ tầng messaging trên Kafka cho hơn 1.400 microservice, 2020). Phần 2: . Bối cảnh Team data-streams của Wix lo hạ tầng event-driven trên Kafka…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…chạy ngay trong broker của cụm đích, đọc từ cụm nguồn bằng Kafka API thường; cụm nguồn không biết có link (chỉ thấy thêm tải đọc). - Sao chép: dữ liệu topic giữ nguyên offset , ti…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…(gem dùng chung chứa mọi query Cypher và test). Ghi đi qua Kafka: callback after commit của ActiveRecord publish message, một service riêng consume rồi upsert vào Neo4j. Neo4j sập…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…à phục hồi của nó. - Theo bài, phần khó không phải nối DB → Kafka → Snowflake mà là bốn câu hỏi xung quanh. Thay đổi chính - Hai đường với điểm mạnh khác nhau: batch dựng snapshot…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…phụ thuộc vào control plane) và . Bối cảnh - WarpStream là Kafka tương thích giao thức, dữ liệu chỉ nằm trên object storage ; Agent stateless, không có leader, bất kỳ Agent nào cũ…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…loại hệ nguồn và đích tăng nhanh (Espresso, Oracle, MySQL, Kafka, Azure Event Hubs, Kinesis). - Mirror Kafka giữa các cụm và data center dùng Kafka MirrorMaker (KMM) : mỗi cụm KMM…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…kho trung tâm: thêm một hệ chỉ phải nối vào một pipeline. - Kafka được dựng để ghép ý tưởng messaging với khái niệm log trong DB: đầu tiên làm pipeline trung tâm cho activity data…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…Redis trả lời, đồng thời trả cho client và phát event sang Kafka; hai job Flink cập nhật index "hiện tại" và "lịch sử" trên Elasticsearch (best-effort, thứ tự theo bộ đếm version…
- Building a High-Throughput Metrics System Using Open Source Software Bài tóm tắt · Two Sigma · 2019
…thấy Elasticsearch không nhận nổi 50.000 message/giây; đặt Kafka làm bộ đệm như "bể nước" làm phẳng các đợt dồn. Chọn Kafka thay RabbitMQ vì đã có dạng dịch vụ nội bộ. 3. Chuyển t…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…i feature là khoảng 9,3 GiB/giây , vượt xa năng lực các cụm Kafka hiện có. Client gửi nhiều feature hơn model dùng. Và phần lớn dự đoán không có ích cho train: chấm hàng nghìn ứng…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…ẫn bản test của Data Streaming Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selenium + ChromeDriver thao tác trang như n…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…n nằm ở shard kia. Thay đổi chính - Đảm bảo thứ tự ghi bằng Kafka: - partition theo key: mọi lệnh ghi của cùng document vào cùng partition; - consumer giữ lock trên partition mình…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…i cảnh - Wix (2022): hơn 500 tỷ HTTP request và 30 tỷ event Kafka mỗi ngày, hơn 2.500 microservice ở nhiều data center. - Nhiều team tự viết thư viện cache nửa vời, mỗi nhóm một ki…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…ục vụ độ trễ ms cho traffic site, nhận cập nhật realtime từ Kafka, thao tác hàng loạt (snapshot, compact, nạp feature tính offline, thay cả cột), chi phí vận hành thấp. Thay đổi ch…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…cảnh - Mỗi tính năng dùng nhiều hạ tầng: Espresso, Galene, Kafka, Bulkhead (quota), Helix, Fuse (chống lạm dụng), Couchbase, Ambry (blob), Pinot, Samza, Pro-ML, Brooklin, Venice.…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…o nền tảng quản lý, đọc binlog và đẩy sự kiện CDC vào topic Kafka đứng trước nguồn; ứng dụng cũng có thể tự phát event qua thư viện chung (khi chưa có connector, hoặc muốn phát dom…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…ic. - Streamz : hơn 2 tỷ event/ngày ; producer tự tạo topic Kafka + bảng data lake đi kèm + job Flink, tất cả bằng Terraform, có chủ sở hữu để quy chi phí và alert; schema Avro gắn…
- How we store and process millions of orders daily Bài tóm tắt · Grab · 2022
…ition theo tháng, drop partition cũ hơn 6 tháng. - Pipeline Kafka nối hai DB: - Producer lỗi thì đẩy vào SQS để retry, rồi dead letter queue. - Consumer retry có back-off; trường h…