Tìm kiếm
40 kết quả cho “Hot partition”. Tìm không phân biệt dấu.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…eering.linkedin.com/espresso/introducing-espresso-linkedins-hot-new-distributed-document-store) Bối cảnh - Trước Espresso, LinkedIn dùng Oracle (dữ liệu chính, nhất quán mạnh) và V…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
…này dự kiến còn tăng 50% trong vài tháng). - Bất ngờ: snapshot RDS dù có Multi-AZ vẫn làm latency tăng, và khi DB tải nặng thì tăng phi tuyến tới mức dồn query và làm sập DB; back…
- Disney Hotstar Công ty Thành viên
Traffic "sóng thần" của cricket: đỉnh user đồng thời 4,7 triệu (2017) → 10,3 triệu (2018) → 25 triệu (2019). Sau IPL 2018, EC2 + ASG không theo kịp (khởi động chậm, giới hạn region, bị throttle API), nên họ chuyển sang…
- How Medium Detects Hotspots in DynamoDB using ElasticSearch, Logstash and Kibana Bài tóm tắt · Medium · 2015
…n — [bài gốc](https://medium.engineering/how-medium-detects-hotspots-in-dynamodb-using-elasticsearch-logstash-and-kibana-aaa3d6632cfd) Site chặn crawler; wiki đọc toàn văn qua trìn…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…ăng rồi không thu lại. Không có công cụ thần kỳ. - DynamoDB hot shard (~300.000 USD/năm): - Bị throttle dù đã cấp dư capacity. Thực tế tiền capacity quyết định số partition , không…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…(2021). HA bằng failover replica đơn giản; backup bằng snapshot đĩa AWS. - Workload đặc biệt: 99% lượt ghi diễn ra ban đêm (quy trình EOD đối soát dữ liệu từ sở giao dịch), hàng ch…
- Building a New Rust Driver for ScyllaDB's DynamoDB API – with 58% More Throughput Bài tóm tắt · ScyllaDB · 2026
…AWS tăng latency mạnh, driver mới giữ thấp, nhất là p99. - Hot partition với LWT (99% request vào 10% key của một nhóm nhỏ partition): round-robin tệ hơn cả SDK AWS vì rải request…
- Serverless Transactions Serve Customers Bài tóm tắt · CapitalOne · 2017
…p theo khoá chính , nạp tuần tự làm DynamoDB bị throttle vì hot partition . Sửa bằng cách xáo trộn dữ liệu trong file trước khi nạp để ghi rải đều nhiều partition song song. - Luôn…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…i cắt bớt các tác vụ bảo trì vì quá đắt. - Ba nguồn đau: 1. Hot partition: partition (channel, bucket) của server hàng trăm nghìn người nhận lượng đọc lớn; vì đọc/ghi ở mức quorum,…
- Wix Inbox Journey: 3 Approaches for Zero Downtime Database Migration Bài tóm tắt · Wix · 2021
…các phòng chat không đều về traffic lẫn dung lượng, nên tạo hot spot , có node crash; - mẫu truy cập mới không dùng đủ khoá chính, buộc phải thêm secondary index rồi materialized v…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…rời nhau. Throttling DynamoDB không do capacity tổng mà do hot partition : mọi object cùng thư mục chung khoá; sửa bằng salt từ hash của path + định danh object. Kết quả: thao tác…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…bên cạnh file cũ. - Commit = dời con trỏ: lần ghi đọc snapshot hiện tại, ghi file dữ liệu và metadata mới, rồi xin catalog dời con trỏ nếu nó vẫn trỏ vào snapshot đã đọc . Hai ngư…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
Security Insights quét định kỳ mọi account, zone, bản ghi DNS để tìm cấu hình sai. Hai vấn đề: quét 1–2 tuần một lần, và nhiều account free phải tự bật mới được quét.
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…m clustering key; có cha một con, có cha một triệu con, gây hot spot, mutation bị bỏ, áp lực compaction. Sửa: thêm shard key vào partition key (mỗi shard tối đa 1.000 con, giữ part…
- Real-Time Indexing for Billions of Vectors: How we built fast, fresh vector indexing at scale in CockroachDB Bài tóm tắt · Cockroach Labs · 2025
Search ngữ nghĩa quy về tìm vector gần nhau (embedding vài trăm tới vài nghìn chiều). Vector không có thứ tự tự nhiên nên index truyền thống không dùng được; ở quy mô lớn phải dùng index xấp xỉ (ANN).
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…i mới mở rộng. - Nâng cấp kiểu rolling, mọi thứ có dư thừa; hot patch không cần restart là hiếm. - Việc còn treo (2014): nạp lại DB rất lâu và hay lỗi khi dữ liệu lớn; công cụ xem…
- A Decade of Evolution of Alibaba's Databases - Part 1 Bài tóm tắt · Alibaba · 2019
…Nhờ đó họ scale out được, tự thêm tính năng vào kernel (vá hot row cho tồn kho , throttle SQL, thread pool), và triển khai active-active xuyên thành phố . 3. 2016 trở đi, tự phát…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
Thông báo về nội dung trong mạng (Project Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…L để ứng dụng không phải query DB online; có bootstrap snapshot và giữ ranh giới transaction. Thay Databus cho Espresso và Oracle. - Thay hoàn toàn KMM: một cụm Brooklin phục vụ nh…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…thành nền cho chẩn đoán tự động (CloudDBA) và TSDB. - 2016, hot key ở cache Tair: một key trong cache chỉ nằm trên một máy, nên lượng truy cập tập trung dịp Double 11 vượt CPU và N…
- Scaling for Tsunami traffic Bài tóm tắt · Disney Hotstar · 2019
…2019 · 3. Quy mô lớn · Độ khó: Dễ — [bài gốc](https://blog.hotstar.com/scaling-for-tsunami-traffic-2ec290c37504) Bối cảnh - Traffic của Hotstar (streaming ở Ấn Độ) có dạng "sóng t…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…sul KV trước khi node vào cụm, nên ZK cũng chạy bằng ASG. - Hot spot là gốc của mất ổn định: - Đặt số partition là bội số của số broker và số consumer đều trên các node; khi thêm b…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…bất biến trên object storage đơn giản hoá đồng thời và snapshot, nhưng biến mọi thay đổi nhỏ thành ghi lớn; phải có lớp delta để chi phí ghi tỉ lệ với thay đổi thay vì với kích thư…
- Atomic slot migration with Redis 8.4 Bài tóm tắt · Redis · 2026
…u dải slot. - Các bước: đích mở hai kết nối tới nguồn (snapshot và luồng ghi mới, chạy song song, dùng cơ chế replication mới của Redis 8.0) → nguồn fork, gửi snapshot (thường là R…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
…đẩy phần còn lại ra song song. - Một ref nhận mọi merge là hot key của thời agent; phân bố tải giữa các repo cực kỳ lệch (). - Việc bảo trì nặng (nén, GC) không nên chạy trên máy…
- From Static Rate Limiting to Adaptive Traffic Management in Airbnb's Key-Value Store Bài tóm tắt · Airbnb · 2026
…hư nhau; - lệch truy cập: quota theo caller không thấy được hot key . Một listing nổi tiếng được hàng nghìn caller khác nhau gọi cùng lúc, mỗi caller vẫn trong quota, nhưng tổng lạ…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…i lượng event lớn là rất khó. Thay đổi chính - Hai pipeline hot-hot giống hệt (primary và standby) cho mỗi service, cô lập hoàn toàn, trên hai cụm Kafka riêng ; lịch deploy so le đ…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…Robin stateless, chạy trên Kubernetes, quyết định theo snapshot tài nguyên định kỳ. Chính sách thắng trong mô phỏng: cụm có nhiều tài nguyên tuyệt đối nhất . Hai sub-cluster YARN d…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…ng 0 thì đồng bộ hoàn toàn. Log đạt 2 GB thì nén thành snapshot; khôi phục = đọc snapshot (nhiều luồng) + replay phần log còn lại. Chỉ ghi tuần tự. - Replication: theo dòng, master…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…rồi đẩy đi". Partition key = ID ngẫu nhiên (tải đều, tránh hot partition), sort key = giờ hẹn + UUID (range query hiệu quả). Chống giao trùng bằng conditional update trạng thái Sc…
- Rediscovering Transaction Processing From History and First Principles Bài tóm tắt · TigerBeetle · 2024
Năm 1985, Jim Gray đề xuất đo OLTP bằng TPS và gắn TPS với giá thành mỗi transaction. "Transaction" chuẩn của ông không phải SQL transaction mà là DebitCredit: ghi nợ một tài khoản, ghi sổ kép, trả lời terminal. Mỗi…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…, audit trail bất biến bằng UAC (User Account Changelog). - Hot account: đến 2023, một số tài khoản cần nhiều hơn giới hạn 3–4 cập nhật mỗi giây của hệ. Ví dụ: nhà vận hành marketp…
- Catching bugs on the client-side: how we developed our error tracking system Bài tóm tắt · Bumble · 2020
…rosoft mua HockeyApp và đẩy người dùng sang AppCenter, hạn chót 16/10/2019, nhưng AppCenter chỉ hỗ trợ file mapping DexGuard (cần để giải mã stack trace Android, không có thì không…
- How Etsy caches: hashing, Ketama, and cache smearing Bài tóm tắt · Etsy · 2017
…ụ đơn giản) vẫn ở chỗ cũ; tránh đợt tải dồn khi đổi pool. - Hot key : lượt đọc theo phân phối luỹ thừa; có key được đọc nhiều và giá trị đủ lớn để làm bão hoà card mạng của máy chứ…
- Inside Stream's Real-Time Architecture for Trading & Investing Apps Bài tóm tắt · Stream (GetStream) · 2026
…oá nóng hết hạn thì một request dựng lại, số còn lại chờ); "hot feed cache" tuỳ chọn phục vụ một thứ tự chung cho mọi người đọc feed chung (kiểu "mã được bàn nhiều nhất hôm nay");…
- Jepsen: NATS 2.12.1 Bài tóm tắt · Jepsen · 2025
…ess đơn giản. Nhưng bitflip hoặc cắt cụt file .blk hay snapshot , kể cả trên thiểu số node, làm mất một message, cả dải message, hoặc node xoá sạch dữ liệu stream; message có ở nod…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…u bằng công cụ bên thứ ba; dựng môi trường test từ EBS snapshot của replica nhiều lần; chạy cùng Sqoop/ETL báo cáo trên cả hai DB theo cửa sổ thời gian; đếm dòng sau khi tạm dừng l…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
Jane Street bảo trì mạng nhiều vào cuối tuần; mỗi lần một tủ rack có thể mất kết nối 15–25 phút. Hạ tầng Kafka nội bộ lẽ ra phải chịu được và tự nối lại. Nhiều tháng năm 2026, nó không chịu được: process segfault, rò…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
…rút kết nối, chuyển lease, restart, node quay lại nhận snapshot; client kết nối lại dồn dập). Đối phó bằng admission control : ưu tiên traffic của client hơn việc nền, và tiết lưu…