Tìm kiếm
17 kết quả cho “local Kafka topic”. Tìm không phân biệt dấu.
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…ạo nhìn thấy). - Hai tầng cụm cho multi-DC: mỗi loại có cụm local trong từng data center và cụm aggregate gom từ mọi local bằng MirrorMaker (chỉ chép local → aggregate nên không có…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…essage, gọi mạng được); feature người nhận và cạnh phải tra local : dữ liệu vài TB, hàng trăm tỷ bản ghi, nằm trong RocksDB trên đĩa máy xử lý (vài chục µs so với vài ms tới vài tr…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ến trúc, client library, độ tin cậy. - Tiered Storage: tầng local (EBS) chỉ giữ 5 phút dữ liệu nóng; segment đã đóng đẩy bất đồng bộ lên S3, giữ 7 ngày. Consumer đã trễ quá 5 phút…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Scaling Slack's Job Queue Bài tóm tắt · Slack · 2017
Job queue chạy mọi việc không làm kịp trong request web: mỗi tin nhắn, push notification, unfurl URL, nhắc lịch, tính tiền. Ngày bận nhất hơn 1,4 tỉ job, đỉnh 33.000 job/giây.
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…iền tố tên topic theo site ( a , b ); consumer đọc cả topic local lẫn topic bóng; phải chọn một site chính cho schema registry. - Số đo của tác giả (2026): nguồn 2,5 GiB/s , 2,5 tr…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…và DB), Delete (xoá cả hai, replication xoá ở region khác), localPut (chỉ cập nhật RAM, dùng cho consumer). 3. Cập nhật RAM ở mọi pod mọi region: chỉ replication DB thì pod ở regio…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…gstash trên mỗi host → Kafka cục bộ ở mỗi data center (Ajna Local) → MirrorMaker qua WAN → Kafka tổng ở Secure Zone (hàng trăm broker; theo bài là cụm Kafka lớn nhất họ biết) → Cam…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…on), kèm tự phục hồi cho lỗi tạm thời. Liên quan - (mô hình local/aggregate với MirrorMaker) · (Databus) · · (CDC Brooklin xoá cache ACL) - · ·…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…ial, platform, segment để chạy lại từng phần và debug; chạy local giống hệt production nhờ ZACS. AB Testing Hub trên Data Portal: cấu hình, scorecard, cảnh báo SRM, ghi quyết định;…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…