Tìm kiếm
12 kết quả cho “move to Kafka”. Tìm không phân biệt dấu.
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…nh — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa có số liệu quy mô. "Data M…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…gấp đôi. Tắt rebalance cũ. 4. Một helper service gọi API remove broker của Cruise Control để dời partition khỏi từng broker EC2 một. 5. Hết dữ liệu thì thu ASG về 0, bỏ ELB khỏi c…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề:
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…đúng một cụm, ghi ra đĩa local, ít ảnh hưởng hiệu năng. Log Mover sidecar chuyển file lên object storage. - Log Processor (offline): ProxySQL chạy trên Kubernetes thành pool pod st…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform , ban đầu để scale ngang vượt giới hạn dọc của MongoDB, nay dùng cho: tách shard khi tải lên, gộp (bin…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…