Tìm kiếm
21 kết quả cho “Kafka Manager”. Tìm không phân biệt dấu.
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…— [bài gốc](https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components/) Bối cảnh - Kafka ở Slack là xương sống của Job Queue (), pipeline log, tra…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…gốc](https://monzo.com/blog/how-we-built-a-queue-on-top-of-kafka) Bối cảnh - Messaging bất đồng bộ có trong kiến trúc microservices của Monzo từ đầu. Ban đầu dùng NSQ : tiện kiểu…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…/www.uber.com/us/en/blog/introducing-ufowarder/) Bối cảnh - Kafka ở Uber xử lý hàng nghìn tỉ message và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một c…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…/2, tác giả thuộc team data-streams (hạ tầng messaging trên Kafka cho hơn 1.400 microservice, 2020). Phần 2: . Bối cảnh Team data-streams của Wix lo hạ tầng event-driven trên Kafka…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…t Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…ở Ấn Độ; tự host gần như mọi phụ thuộc (CRM, database lớn, Kafka, mail server). - Hạ tầng lai: rack vật lý ở hai data center (nơi đường leased line của sàn kết thúc) và AWS, nối v…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…sandra-on-kubernetes-with-operators.html) Đi trước loạt bài Kafka on PaaSTA () với cùng cách làm. Bối cảnh - Cassandra ở Yelp dùng cho cả dữ liệu chính lẫn dữ liệu dẫn xuất; mỗi cụ…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- Cloudflare Công ty Thành viên
Cloudflare bắt đầu bằng một cluster Postgres cfdb cho hầu hết control plane; từ 2017 các service dời dữ liệu ra dần. Đến 2022–2024 dữ liệu DNS (hàng tỷ record) được tách sang cluster riêng, sau khi mọi service đã đi qua…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…ilover (gần như không downtime, phải đổi endpoint), CDC qua Kafka (vượt được khác biệt topo, ví dụ Redis 6 shard sang 3 shard; thêm hạ tầng). Theo LY, không thể để DBA tự migrate m…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…000 nguồn × trung bình 2,1 đích = 88.000 queue và còn tăng; Kafka, RabbitMQ, NSQ, Kinesis đều không scale tới số lượng đó một cách đơn giản. Thay đổi chính - Queue ảo trên database…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
Team Core Index Serving (Search Platform) vận hành OpenSearch phía sau search của Confluence, Jira và Rovo: hơn 300 cụm, hơn 2.500 data node, 1,7 PB, cụm dùng chung và cụm theo tenant ở 13 region (2026).
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
Yelp phục vụ từ hai region AWS ở hai bờ nước Mỹ. Request chỉ đọc (phần lớn traffic) đi tới region gần nhất, có logic cân tải giữa hai bên.