Tìm kiếm
40 kết quả cho “partition”. Tìm không phân biệt dấu.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Partitioning GitHub's relational databases to handle scale Bài tóm tắt · GitHub · 2021
…— [bài gốc](https://github.blog/engineering/infrastructure/partitioning-githubs-relational-databases-scale/) Bối cảnh - Hơn 10 năm trước GitHub bắt đầu bằng Rails + một MySQL . -…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
…nh — [bài gốc](https://medium.com/airbnb-engineering/how-we-partitioned-airbnb-s-main-database-in-two-weeks-55f7e006ff21) Bối cảnh - Trước mùa du lịch hè 2015, DB MySQL chính (trên…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…ghi vào Postgres . Thay đổi chính 1. Xử lý song song trong partition: Kafka chỉ cho một consumer mỗi partition trong một consumer group, và phải xử lý theo thứ tự. Thêm partition…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…l, secondary index luôn khớp dữ liệu, transaction trong một partition, tự chịu lỗi máy, schema evolution không downtime, change stream, bulk ingest từ Hadoop. - Năm 2015: khoảng 30…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…hấm điểm relevance tại chỗ, chỉ trả top N về broker. - Over-partition: 720 partition (chia hết cho nhiều số) để cụm có thể là 40, 45, 60, 80, 360 máy; rebalance bằng cách di chuyển…
- Real-Time Indexing for Billions of Vectors: How we built fast, fresh vector indexing at scale in CockroachDB Bài tóm tắt · Cockroach Labs · 2025
…Microsoft và ScaNN của Google): cây K-means phân tầng ; mỗi partition vài chục tới vài trăm vector, có centroid; centroid lại được gom thành tầng trên. Mỗi partition là một dải hàn…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…ma trông "lạ" nhưng nhanh hơn. Năm cái bẫy và cách xử lý 1. Partition không đều: quan hệ cha-con với cha làm partition key, con làm clustering key; có cha một con, có cha một triệu…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…a media nằm trong Mnesia in-memory khoảng 2 TB RAM, chia 16 partition, khoảng 18 tỉ record. - Tách để lỗi không lan: mọi thứ được partition; hàng đợi đọc và ghi riêng; mỗi node đíc…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…ự gửi). - Workflow manager chuẩn hoá request, đẩy vào Kafka partition theo actor (người tạo nội dung) để cache feature của actor tại chỗ. - Fanout gọi Edges API lấy kết nối và foll…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…nên phải vận hành hàng chục tới hàng trăm cụm KMM; lỗi một partition làm hỏng cả pipeline; lệnh flush đồng bộ có thể làm pipeline đứng vài phút. - CDC dùng Databus. Thay đổi chính…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…dù đã cấp dư capacity. Thực tế tiền capacity quyết định số partition , không phải tổng throughput; một key nóng buộc phải gấp đôi capacity mà vẫn bị giới hạn ở sức của một partiti…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…theo Snowflake. Bối cảnh - Bảng Snowflake chia thành micro-partition lưu trong file cột nén, bất biến (theo thiết kế trong paper SIGMOD 2016): không sửa tại chỗ, mọi thay đổi phải…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…chạy bằng ASG. - Hot spot là gốc của mất ổn định: - Đặt số partition là bội số của số broker và số consumer đều trên các node; khi thêm broker/consumer thì chỉnh lại để vẫn là bội…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…anh hơn; bỏ ID tự tăng (tiết kiệm đĩa, insert nhanh hơn). - Partition theo tháng: thử theo ngày thì insert nhanh (luôn đổ vào partition rỗng) nhưng query theo khoảng ngày chậm hẳn.…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…lý từng message một, scale chỉ bằng thêm replica nhưng mỗi partition chỉ một consumer ), không có telemetry, tắt chưa gọn, đảm bảo at-least-once yếu, không có dead letter hay retr…
- Building a New Rust Driver for ScyllaDB's DynamoDB API – with 58% More Throughput Bài tóm tắt · ScyllaDB · 2026
…n (mặc định): xoay vòng các node sống. - Key affinity : mỗi partition key luôn đi tới cùng một coordinator. Khuyến nghị cho workload nặng LWT (lightweight transaction cần đồng thuậ…
- Serverless Transactions Serve Customers Bài tóm tắt · CapitalOne · 2017
…eo khoá chính , nạp tuần tự làm DynamoDB bị throttle vì hot partition . Sửa bằng cách xáo trộn dữ liệu trong file trước khi nạp để ghi rải đều nhiều partition song song. - Luôn tes…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…t bớt các tác vụ bảo trì vì quá đắt. - Ba nguồn đau: 1. Hot partition: partition (channel, bucket) của server hàng trăm nghìn người nhận lượng đọc lớn; vì đọc/ghi ở mức quorum, lat…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…(dùng cho làm mờ dữ liệu) được gộp vào cụm chính thành một partition riêng (khoảng 4.000 + 2.000 node). Hai tháng sau, job chờ hàng giờ mới được cấp dù cụm còn nhiều tài nguyên; t…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…của scheduler chỉ là "mỗi tick tìm job quá hạn rồi đẩy đi". Partition key = ID ngẫu nhiên (tải đều, tránh hot partition), sort key = giờ hẹn + UUID (range query hiệu quả). Chống gi…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…về bảng cũ để có đường lùi. - Tách shard lớn bằng EXCHANGE PARTITION : đổi shard thành bảng hai partition qua online schema change rồi hoán đổi tức thì sang hai shard con; shard c…
- Wix Inbox Journey: 3 Approaches for Zero Downtime Database Migration Bài tóm tắt · Wix · 2021
…ùng chung cho nhiều microservice. - Vì sao không ổn định: - partition key = chatroom id , mà các phòng chat không đều về traffic lẫn dung lượng, nên tạo hot spot , có node crash; -…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…nhau. Throttling DynamoDB không do capacity tổng mà do hot partition : mọi object cùng thư mục chung khoá; sửa bằng salt từ hash của path + định danh object. Kết quả: thao tác fil…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…gấp 10 lần lượng cần gửi. Thay đổi chính - Index theo topic partition (mọi topic chung hai đoạn tiền tố, ví dụ app/codestore ), vì một instance có gần một triệu topic, index từng t…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…để consumer chậm không kéo producer. - Cách scale log: chia partition (mỗi partition có thứ tự, không có thứ tự toàn cục), batch đọc/ghi, một định dạng nhị phân dùng chung cho bộ n…
- Making LinkedIn's Organic Feed Handle Peak Traffic Bài tóm tắt · LinkedIn · 2018
…viết lại. - Việc tiếp theo: mỗi nhóm 4 replica giữ cùng 20 partition nên một máy yếu dồn tải lên đúng 3 máy; đặt partition ngẫu nhiên thì tải dồn lên khoảng 80 máy. Cần headroom t…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…nsert) để thu hẹp cận min/max và bỏ được nhiều file; bucket partitioning bằng murmur3 như Iceberg cho cột cardinality cao. - Variant (nhị phân, nhiều kiểu hơn JSON, tách được thành…
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
…khoảng 30 giây ảnh hưởng một phần (~2% request bị rớt) . - Partition lớn nhất chỉ còn ~10% CPU. Vì sao Theo Figma: giảm rủi ro bất ổn mà không hy sinh độ tin cậy ("không thể đóng…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
Jane Street bảo trì mạng nhiều vào cuối tuần; mỗi lần một tủ rack có thể mất kết nối 15–25 phút. Hạ tầng Kafka nội bộ lẽ ra phải chịu được và tự nối lại. Nhiều tháng năm 2026, nó không chịu được: process segfault, rò…
- Samza Aeon: Latency Insights for Asynchronous One-Way Flows Bài tóm tắt · LinkedIn · 2018
…ng event đã có trên Kafka. - Aeon trên Samza gồm hai job: - Partitioner: đổi khoá theo trường chung (ví dụ pushId ) để cặp start/end về cùng một Joiner. - Joiner: giữ cache trong b…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
Benchmark kiểu TPC-C chỉ đo tốc độ khi mọi thứ hoàn hảo; theo Cockroach Labs, doanh nghiệp trung bình gặp 86 sự cố mỗi năm (khảo sát 2025 của chính họ).
- Report on our investigation of the 2025-10-20 incident in AWS us-east-1 Bài tóm tắt · PlanetScale · 2025
20/10/2025, AWS us-east-1 gặp sự cố lớn bắt đầu từ cấu hình DNS sai ở một nhà cung cấp. Sau đó là nhiều giờ thiếu năng lực và mạng chập chờn.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.