Tìm kiếm
40 kết quả cho “Kafka API”. Tìm không phân biệt dấu.
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…g bình — [bài gốc](https://engineeringblog.yelp.com/2021/12/kafka-on-paasta-part-one.html) Phần 1 (kiến trúc). Phần 2 (migration): . Bối cảnh - Kafka của Yelp nhận hàng chục tỷ mes…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…g bình — [bài gốc](https://engineeringblog.yelp.com/2022/03/kafka-on-paasta-part-two.html) Phần 2 (migration). Phần 1 (kiến trúc): . Bối cảnh Chuyển các cụm Kafka đang chạy từ EC2…
- How we built a dynamic Kubernetes API Server for the API Aggregation Layer in Cozystack Bài tóm tắt · Kubernetes · 2024
…ile cấu hình/ConfigMap : kind: Postgres → chart: postgres , Kafka , Redis , VirtualMachine ... Thêm chart mới không cần codegen hay biên dịch lại. - Registry riêng chuyển đổi hai c…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…c](https://technology.doximity.com/articles/taking-our-ruby-kafka-stack-to-the-next-level) Bối cảnh - Mọi app Rails ở Doximity nói chuyện với Kafka qua gem nội bộ dox-messaging , v…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…022/08/02/building-scalable-real-time-event-processing-with-kafka-and-flink/) Bối cảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowflake), tới nền tảng ML (feature…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ow-we-build/scaling-streamhub-transitioning-from-kinesis-to-kafka-for-145-billion-daily-events) Bối cảnh - StreamHub là event bus của Atlassian (click, impression, API call, CDC, t…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…t Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…loại hệ nguồn và đích tăng nhanh (Espresso, Oracle, MySQL, Kafka, Azure Event Hubs, Kinesis). - Mirror Kafka giữa các cụm và data center dùng Kafka MirrorMaker (KMM) : mỗi cụm KMM…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…ic. - Streamz : hơn 2 tỷ event/ngày ; producer tự tạo topic Kafka + bảng data lake đi kèm + job Flink, tất cả bằng Terraform, có chủ sở hữu để quy chi phí và alert; schema Avro gắn…
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
…/blog/gcp-outage-june-redpanda-cloud) Bài của nhà cung cấp (Kafka-compatible streaming), có phần quảng bá; mọi nhận định là theo Redpanda. Cùng ngày sự cố với . Bối cảnh - 12/6/202…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…kém hiệu quả hơn để service ổn định. Hướng tới: chuyển sang Kafka + schema registry, tạo topic bằng CI/CD. - Kết quả: thời gian để một team đưa dữ liệu vào lake từ vài tuần xuống v…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…t, tiến trình crash. - Kiến trúc: scheduler đẩy message vào Kafka → fan-out tới các checker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer group) → checker gửi kết…
- Jepsen: Redpanda 21.10.1 Bài tóm tắt · Jepsen · 2022
…ug. Bối cảnh - Redpanda: hệ streaming tương thích giao thức Kafka, dùng Raft nội bộ thay ZooKeeper, quảng bá "không mất dữ liệu mặc định" vì chỉ ack sau khi fsync trên đa số replic…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…Theo LinkedIn, cache nên đặt sát kho dữ liệu nhất có thể. - Kafka: nhiều pipeline riêng (vào data warehouse, vào Hadoop, log, tracking, queue cho InMail, cập nhật search khi đổi pr…
- Accelerating real-time alerts with Redpanda: a successful migration story Bài tóm tắt · Redpanda · 2023
…gốc](https://www.redpanda.com/blog/equal-experts-migration-kafka-redpanda) Bài khách (Eric Laguer, Equal Experts, một công ty dịch vụ IT) đăng trên blog của nhà cung cấp, kể dự án…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…service có hai API: gRPC cho CRUD, và một API streaming qua Kafka phát lại chính các thay đổi đó để service phía sau khỏi phải poll. - Bài toán: thao tác CRUD nằm trong một giao dị…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…Phần 1: . Bối cảnh Ba mẫu tiếp theo của team data-streams (Kafka cho hơn 1.400 microservice), dựng trên thư viện consumer Greyhound do Wix tự viết và mở mã nguồn. Thay đổi chính 4…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…umer : ảnh lên S3, replicate phần DB liên quan sang AWS qua Kafka + Debezium, đổi PHP sang Python, thêm pipeline sinh ID ảnh mới nhưng phải giữ bảng ánh xạ ID cũ ↔ mới vì vài team…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…/2, tác giả thuộc team data-streams (hạ tầng messaging trên Kafka cho hơn 1.400 microservice, 2020). Phần 2: . Bối cảnh Team data-streams của Wix lo hạ tầng event-driven trên Kafka…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…c đó dẫn hạ tầng dữ liệu real-time ở LinkedIn, đồng tác giả Kafka), đăng trên O'Reilly chứ không trên blog LinkedIn. Đây là bài đặt tên "Kappa architecture". Kinh nghiệm dẫn chứng…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám sát lúc đó chỉ là trạng thái pass/fail củ…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…(gem dùng chung chứa mọi query Cypher và test). Ghi đi qua Kafka: callback after commit của ActiveRecord publish message, một service riêng consume rồi upsert vào Neo4j. Neo4j sập…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Service Level Testing for Microservices in Swiggy Bài tóm tắt · Swiggy · 2021
…My-Test-Helper (Go và Java) gom các mẫu lặp: khởi container Kafka một dòng rồi gắn bootstrap server vào cấu hình app, produce message để test consumer; khởi mock gRPC từ định nghĩa…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…chạy ngay trong broker của cụm đích, đọc từ cụm nguồn bằng Kafka API thường; cụm nguồn không biết có link (chỉ thấy thêm tải đọc). - Sao chép: dữ liệu topic giữ nguyên offset , ti…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…ằng Protocol Buffers . API gửi bất đồng bộ bản protobuf vào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…n nằm ở shard kia. Thay đổi chính - Đảm bảo thứ tự ghi bằng Kafka: - partition theo key: mọi lệnh ghi của cùng document vào cùng partition; - consumer giữ lock trên partition mình…
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
…fety-and-reliability-at-twitter) Bối cảnh - Team Messaging (Kafka và PubSub) chạy hàng chục cụm Kafka broker trên hybrid Mesos, mỗi cụm từ vài chục đến vài trăm broker. Dữ liệu rep…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…i cảnh - Wix (2022): hơn 500 tỷ HTTP request và 30 tỷ event Kafka mỗi ngày, hơn 2.500 microservice ở nhiều data center. - Nhiều team tự viết thư viện cache nửa vời, mỗi nhóm một ki…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…ục vụ độ trễ ms cho traffic site, nhận cập nhật realtime từ Kafka, thao tác hàng loạt (snapshot, compact, nạp feature tính offline, thay cả cột), chi phí vận hành thấp. Thay đổi ch…
- Fly Behind The Scenes: Fresh Logging Bài tóm tắt · Fly.io · 2020
…l API của Graylog . - Có thể tăng sức các server, hoặc thêm Kafka (thêm một công cụ lớn vào chuỗi). Thay đổi chính - Vector (Rust) chạy trên mọi server , đọc từ journald và ứng dụn…
- Real-time Distributed Tracing for Website Performance and Efficiency Optimizations Bài tóm tắt · LinkedIn · 2015
…ược Samza gom lại và phát thành một event trên message bus (Kafka) để phân tích realtime. Thay đổi chính - inCapacity đọc kết quả từ Samza, dựng call graph theo thời gian thực. Mỗi…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…o nền tảng quản lý, đọc binlog và đẩy sự kiện CDC vào topic Kafka đứng trước nguồn; ứng dụng cũng có thể tự phát event qua thư viện chung (khi chưa có connector, hoặc muốn phát dom…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…Redis trả lời, đồng thời trả cho client và phát event sang Kafka; hai job Flink cập nhật index "hiện tại" và "lịch sử" trên Elasticsearch (best-effort, thứ tự theo bộ đếm version…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…aming (dưới một phút, ví dụ cân bằng surge pricing, nối với Kafka); real-time (món phổ biến gần bạn trên Uber Eats, tươi nhanh, tới khoảng 2.000 QPS qua RPC); interactive (báo cáo…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…trên Hadoop/Crunch, đọc dữ liệu từ pipeline event dựa trên Kafka). Dựa trên nhận xét lượt nghe hầu như không đến từ quá khứ (trừ spam và backfill do bug). - Cả tầng batch và tầng…
- Authorization at LinkedIn's Scale Bài tóm tắt · LinkedIn · 2019
…oklin báo để xoá cache. - Log mọi lần check bất đồng bộ qua Kafka để debug, phân tích traffic và phục vụ audit; số liệu đẩy lên inGraphs. - Thực thi phân tán, dữ liệu tập trung: AC…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…n. Đọc kèm . Bối cảnh - Tác giả từng xây Espresso, Databus, Kafka; khi sang team hạ tầng analytics (Hadoop) thấy người ta hỏi nhau "dataset nào đúng" suốt: lưu trữ và tính toán đã…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…dụng; impression, click, repin). - Nguồn dữ liệu: event từ Kafka được log xuống S3; object (Pin, board, user) từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Had…