Tìm kiếm
29 kết quả cho “Consumer lag”. Tìm không phân biệt dấu.
- How We Cut Kafka Consumer Deployment Costs by 83% Bài tóm tắt · trivago · 2026
…](https://tech.trivago.com/post/2026-06-12-how-we-cut-kafka-consumer-deployment-costs-by-83) Bối cảnh - PSE-kafka consume message giá khách sạn từ Kafka và đẩy quảng cáo sang một d…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…ge và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một cụm proxy lấy message từ Kafka bằng giao thức nhị phân, đẩy từng message tới consumer service qua g…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…á trị mới nhất mỗi key, như một snapshot liên tục. - Sink : consumer đọc topic, áp business rule (lọc, chuẩn hoá, policy) rồi upsert idempotent vào database cục bộ của service dưới…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…Chuyển một cụm Kafka sang WarpStream gồm ba phần: dữ liệu , consumer , producer . Một cụm thường phục vụ nhiều team. - Orbit (đã có) nhân bản topic và offset của consumer group từ…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…ecker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer group) → checker gửi kết quả về API nội bộ → ghi vào Postgres . Thay đổi chính 1. Xử lý song song trong partiti…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…họ. - Khi dùng Kafka nhiều hơn: nút thắt ở service phía sau consumer, ruby-kafka chậm ra tính năng, và nhất là heartbeat chạy chung thread với xử lý . Heartbeat chỉ gửi khi consume…
- trivago Công ty Thành viên
Service PSE-kafka đẩy giá khách sạn sang dịch vụ Ads bị consumer lag kéo dài (19 sự cố P1) dù CPU chỉ 10%. Năm 2026 một đợt điều tra tìm ra ba nút thắt cùng lúc (consumer tự viết từ 2019, độ trễ cố ý trong RAM, pool…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…t ổn định: - Đặt số partition là bội số của số broker và số consumer đều trên các node; khi thêm broker/consumer thì chỉnh lại để vẫn là bội số. - Giới hạn băng thông replication k…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…eams (Kafka cho hơn 1.400 microservice), dựng trên thư viện consumer Greyhound do Wix tự viết và mở mã nguồn. Thay đổi chính 4. Schedule and Forget (job định kỳ phải cuối cùng chạy…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…estamp, header, batch; cấu hình topic; offset đã commit của consumer group; ACL; schema registry (tuỳ chọn). - Mô hình active-passive, bất đồng bộ : producer chỉ được ack khi ghi x…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…điểm (outer join, watermark, model tăng dần bị ảnh hưởng). Consumer chọn: nhất quán theo thời điểm, hay latency thấp. - Khởi tạo từ snapshot đã tin tưởng thay vì để Debezium chụp…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…phân tán chuyển dữ liệu giữa các hệ, mở rộng bằng cách viết consumer/producer mới. Hai nhóm dùng: - Streaming bridge: giữa cloud (Kinesis, Azure), giữa cụm, giữa data center; có th…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
…nguồn phát sự kiện chạy đúng nhịp (). - Giới hạn tốc độ của consumer là van backpressure cho service phía sau; hạ nó có thể là cách sửa (). - Phụ thuộc vào service của team khác: l…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ại object, payload có kiểu, cache cấu hình, bớt serialize), consumer lag đỉnh giảm khoảng 70%. Rollback tự động, alert-as-code, query kiểm tất định, môi trường thử giống production…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…thường, metric, job SQL. Luminaire contracts : producer và consumer định nghĩa test trên dữ liệu stream/batch, chạy theo lịch, kết quả dùng làm kiểm tra sẵn sàng của dependency. -…