Tìm kiếm
28 kết quả cho “rebalance”. Tìm không phân biệt dấu.
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…rước đã xử lý xong; quá hạn heartbeat thì cả consumer group rebalance. Xử lý chậm làm rebalance lặp liên tục: "rebalancing storm" , mọi xử lý đứng lại. - Thêm consumer (tới bằng số…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…eper; node chết thì Helix dời partition, nhưng dùng delayed rebalance để sự cố ngắn không gây dời dữ liệu lớn; vì node luôn bootstrap từ Kafka nên phục hồi được kể cả khi mất mọi r…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
…c hoặc không đạt replication factor (đọc chậm vì I/O), phải rebalance tay mất hàng giờ tới hàng ngày, có lúc làm hệ gần như không dùng được, có rủi ro mất dữ liệu; nhân bản lỗi âm…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
…node ngẫu nhiên (3 node): chuyển lease; nếu quá 5 phút thì rebalance range; admission control ưu tiên tải chính hơn rebalance. - Mất zone, mất region: dời traffic sang zone/region…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…m vào cụm ELB service mesh của Yelp Cân bằng cụm thuật toán rebalance trong kafka-utils Cruise Control Tự đặt số partition cron job (Puppet) job Tron Nhiều hệ nội bộ đọc file kafka…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…lại để vẫn là bội số. - Giới hạn băng thông replication khi rebalance (trước đó nó ăn hết tài nguyên của producer/consumer lúc cao điểm), và chỉ chuyển ít partition mỗi lần, thay đ…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…hút/broker; broker mới không đỡ được topic nóng cho tới khi rebalance (mà rebalance lại thêm tải). Cách họ gia cố - Lập kế hoạch năng lực theo broker nóng nhất , không theo trung b…
- Real-Time Indexing for Billions of Vectors: How we built fast, fresh vector indexing at scale in CockroachDB Bài tóm tắt · Cockroach Labs · 2025
…mạng; ánh xạ tự nhiên vào range key-value để split, merge, rebalance như dữ liệu thường; không có điểm nóng; cập nhật tăng dần không chặn query. Thay đổi chính - C-SPANN (ghép ý t…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…hết cho nhiều số) để cụm có thể là 40, 45, 60, 80, 360 máy; rebalance bằng cách di chuyển nguyên partition, không tách. - Lưu trữ: RocksDB (LinkedIn viết JNI binding và đóng góp lạ…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…. Không mất dữ liệu. - Tự cân lại consumer: proxy gánh việc rebalance nên consumer service thành stateless. Kích thước mỗi workload (CPU theo request rate, bộ nhớ theo concurrency,…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…đã xong (commit logic cục bộ, đẩy lên broker định kỳ và lúc rebalance), tránh mất dữ liệu khi replica chết giữa chừng. - Virtual partitions: một goroutine router chia message vào p…
- Cockroach Labs Công ty Thành viên
Bài 2026 của Cockroach Labs nói về bên trong storage engine Pebble của CockroachDB: từ v25.4 (bật trong benchmark nightly cuối 6/2025), value lớn được tách khỏi key ra blob file để compaction chỉ chép handle; theo…
- Migrating Etsy's database sharding to Vitess Bài tóm tắt · Etsy · 2026
…ing. - Hiệu năng gần như không đổi. - Mở đường cho reshard, rebalance, MoveTable. Vì sao Theo Etsy: số sự cố do index DB tăng, scale bằng tay quá chậm, và sharding làm khó develope…
- Inside Stream's Real-Time Architecture for Trading & Investing Apps Bài tóm tắt · Stream (GetStream) · 2026
…erge vào kết quả đã cache trong TiKV (TiKV lo multi-Raft và rebalance mà trước đây Stream tự vận hành). Lúc dựng top N, nguồn nào không còn gì đủ mới thì ngừng xét. Khoá aggregatio…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…g của nó làm sập mọi node, đã làm họ sập 4 lần. Các ca gặp: rebalance kẹt giữa chừng không có công cụ gỡ; cân bằng sai dồn dữ liệu về một node; lỗi quyền sở hữu : một secondary mới…
- From Chaos to Control: Addressing Shard Distribution Challenges in M3DB with Subclusters Bài tóm tắt · Uber · 2026
…bộ (một node 50 shard, node khác 150), tức là tạo hot spot. Rebalance sau đó thì mỗi shard phải dời hai lần. - Thuật toán tham lam: với mỗi shard ứng viên, mô phỏng "nếu bỏ shard n…
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…Agent là compute không trạng thái (không bầu leader, không rebalance partition, không resize đĩa), scale như web server. - Chia trách nhiệm: nhà cung cấp cloud lo storage, khách l…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…ình cụm, phát hiện vi phạm mục tiêu và tự sửa; cung cấp API rebalance, thêm/bớt broker. Thay cho các script lifecycle tự chế trước đây. - Ví dụ bớt một broker: dev giảm số broker t…