Tìm kiếm
39 kết quả cho “consumer group”. Tìm không phân biệt dấu.
- How We Cut Kafka Consumer Deployment Costs by 83% Bài tóm tắt · trivago · 2026
…](https://tech.trivago.com/post/2026-06-12-how-we-cut-kafka-consumer-deployment-costs-by-83) Bối cảnh - PSE-kafka consume message giá khách sạn từ Kafka và đẩy quảng cáo sang một d…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…ecker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer group) → checker gửi kết quả về API nội bộ → ghi vào Postgres . Thay đổi chính 1. Xử lý song song trong partiti…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…ssage lặp ký tự cho giới hạn cao hơn nhiều). Giữ được tới 5 consumer group; nhiều hơn thì mạng nghẽn, trong khi tỉ lệ đọc/ghi thật thấp hơn 5. - Quy tắc cấp phát: cho phép 20% brok…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…á trị mới nhất mỗi key, như một snapshot liên tục. - Sink : consumer đọc topic, áp business rule (lọc, chuẩn hoá, policy) rồi upsert idempotent vào database cục bộ của service dưới…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…va có Flink và nhiều framework; team Go, Python, JS tự viết consumer. - Consumer tự viết: dùng compute kém (xử lý từng message một, scale chỉ bằng thêm replica nhưng mỗi partition…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…n đoạn tối đa vài phút). - Vector : chạy song song hai nhóm consumer (một ship về Kafka, một về WarpStream), rồi chuyển dần producer sang WarpStream và tắt Kafka. - Agent Groups để…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Postmortem: Removing all users from github.com/trivago Bài tóm tắt · trivago · 2021
trivago áp dụng blameless postmortem từ 2019. Mọi nhân viên cần code, PR, CI hay tài liệu đều ở một GitHub organization; quyền vào được đồng bộ tự động từ một security group của Azure Active Directory (AAD) qua SAML SSO…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…họ. - Khi dùng Kafka nhiều hơn: nút thắt ở service phía sau consumer, ruby-kafka chậm ra tính năng, và nhất là heartbeat chạy chung thread với xử lý . Heartbeat chỉ gửi khi consume…
- trivago Công ty Thành viên
Service PSE-kafka đẩy giá khách sạn sang dịch vụ Ads bị consumer lag kéo dài (19 sự cố P1) dù CPU chỉ 10%. Năm 2026 một đợt điều tra tìm ra ba nút thắt cùng lúc (consumer tự viết từ 2019, độ trễ cố ý trong RAM, pool…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…rồi chuyển message sang topic deadletter riêng cho mỗi cặp consumer group + topic , báo người, rồi đi tiếp. Muốn chạy lại thì CLI đẩy message sang topic retry riêng của consumer g…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…toán: mỗi listing (tin đăng) phát event khi tạo, sửa, xoá; consumer chống gian lận, gửi thông báo, index search, khuyến mãi. Có hai nhóm consumer: - chỉ cần event của region mình,…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…eams (Kafka cho hơn 1.400 microservice), dựng trên thư viện consumer Greyhound do Wix tự viết và mở mã nguồn. Thay đổi chính 4. Schedule and Forget (job định kỳ phải cuối cùng chạy…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…á 24 giờ phải trả thêm (muốn giữ 7 ngày để replay); - nhiều consumer group chia chung băng thông ra của shard; Enhanced Fan-Out thì đắt. Thay đổi chính - Chuyển sang Kafka qua AWS…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…estamp, header, batch; cấu hình topic; offset đã commit của consumer group; ACL; schema registry (tuỳ chọn). - Mô hình active-passive, bất đồng bộ : producer chỉ được ack khi ghi x…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…Chuyển một cụm Kafka sang WarpStream gồm ba phần: dữ liệu , consumer , producer . Một cụm thường phục vụ nhiều team. - Orbit (đã có) nhân bản topic và offset của consumer group từ…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…ên mọi câu lệnh ghi từ client bị Neo4j từ chối; chỉ service consumer gửi WRITE. Cụm tối thiểu 3 node (1 leader nhận ghi, 2 follower đọc), giới hạn thread để ghi dồn không đè leader…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…isibility timeout: quen RabbitMQ (message trả lại queue khi consumer mất kết nối), team mất thời gian mới hiểu vì sao có message bị xử lý hai lần: SQS trả message lại theo timeout…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…gay lúc ack, nhưng thứ tự (sequencing) chỉ cần có trước khi consumer đọc. Agent ghi file vào một "sequence" (thư mục khoảng 1.000 file liên tiếp của một Agent), ack ngay khi file b…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
…TCP. - Nhân vật: relay (chép message giữa các cụm Kafka) và consumer-group monitor , mỗi host chạy hàng chục cái (79 trên một host), mỗi cái giữ pool kết nối tới nhiều broker và li…
- The Great K8S Migration Bài tóm tắt · Reddit · 2020
…n Management (CM) của mảng Ads. Ads vốn tách biệt khỏi phần consumer nên tụt lại khi reddit.com chuyển sang Kubernetes. - Chuẩn bị: Docker image lên ECR; CI bằng Drone; pipeline de…
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- Business Continuity & Disaster Recovery in the Microservices world Bài tóm tắt · Walmart · 2019
…ice phía dưới tự dựng lại trạng thái. Yêu cầu bắt buộc: mọi consumer idempotent (vốn cần vì broker chỉ at-least-once). - Monitor hai tầng: worker trong mỗi Ring gom health check ch…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…on xoá ở region khác), localPut (chỉ cập nhật RAM, dùng cho consumer). 3. Cập nhật RAM ở mọi pod mọi region: chỉ replication DB thì pod ở region B vẫn trả giá trị cũ. Một sync serv…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…thường, metric, job SQL. Luminaire contracts : producer và consumer định nghĩa test trên dữ liệu stream/batch, chạy theo lịch, kết quả dùng làm kiểm tra sẵn sàng của dependency. -…