Tìm kiếm
40 kết quả cho “mod shard”. Tìm không phân biệt dấu.
- Sharding Pinterest: How we scaled our MySQL fleet Bài tóm tắt · Pinterest · 2015
…sinh ID. - Bảng object (local id, JSON blob); sửa bằng read-modify-write trong transaction SELECT ... FOR UPDATE . Bảng mapping một chiều (from, to, sequence) nằm ở shard của from…
- Scaling Etsy Payments with Vitess: Part 1 – The Data Model Bài tóm tắt · Etsy · 2023
…eascraft/scaling-etsy-payments-with-vitess-part-1--the-data-model) Bối cảnh - Cuối 2020, hai database thanh toán đã ở cấu hình máy cao nhất của Google Cloud, không scale dọc được n…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Sharding Cash Bài tóm tắt · Square · 2018
…ớp sharding trong suốt vẫn rò rỉ ngữ nghĩa; phải đổi domain model để ranh giới transaction trùng ranh giới shard. - Bước cutover không đảo ngược được cần được giảm rủi ro bằng chạy…
- Sharding & IDs at Instagram Bài tóm tắt · Instagram · 2011
…riêng, đủ ~41 năm) + 13 bit shard logic + 10 bit sequence (mod 1024), tức 1024 ID mỗi shard mỗi ms. ID trả về app bằng RETURNING . Vì sao Theo Instagram: Snowflake gần nhất với nh…
- Migrating Etsy's database sharding to Vitess Bài tóm tắt · Etsy · 2026
…ng ghi chung trong một transaction phải chuyển cùng lúc. 27 model (3% số bảng) chiếm 1/3 traffic và dính nhau qua transaction, phải chuyển đồng loạt với sự phối hợp toàn công ty. -…
- Herding elephants: Lessons learned from sharding Postgres at Notion Bài tóm tắt · Notion · 2021
…ng muốn logic cluster "mờ". Họ cũng đã cân nhắc và loại DynamoDB (quá rủi ro) và Postgres trên NVMe bare-metal (tốn công backup và replication). - Shard gì: bảng block cùng mọi bản…
- How we modified our infrastructure to deploy an EU data center Bài tóm tắt · Asana · 2020
Khách hàng doanh nghiệp muốn chọn nơi đặt dữ liệu; Asana mở hạ tầng ở châu Âu (12/2019).
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…/www.scylladb.com/2026/02/23/common-performance-pitfalls-of-modern-storage-i-o/) Bài tổng kết của nhà cung cấp database, rút từ các cuộc điều tra hiệu năng trên instance NVMe (AWS…
- Modernizing Prometheus: Native Storage for Composite Types Bài tóm tắt · Prometheus · 2026
…khó: Khó — [bài gốc](https://prometheus.io/blog/2026/02/14/modernizing-prometheus-composite-samples/) Bài của một maintainer (Bartłomiej Płotka), tự nói là góc nhìn cá nhân; vài t…
- Scaling Etsy Payments with Vitess: Part 3 – Reducing Cutover Risk Bài tóm tắt · Etsy · 2023
…pace chưa shard sang đã shard. Thay đổi chính - Transaction mode : mặc định multi cho transaction xuyên shard nhưng có thể commit một phần (transaction lỗi mà vẫn còn ghi trên vài…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…r. Theo Uber, đưa nó vào production là cả một stack: deploy model, phục vụ index ANN, giám sát, quản lý phiên bản. Thay đổi chính - Model (tóm tắt): two-tower trên backbone Qwen ti…
- Deno KV internals: building a database for the modern web Bài tóm tắt · Deno · 2023
Deno Deploy chạy code ở nhiều region. Theo Deno, khách hàng nói: compute phân tán mà dữ liệu không phân tán thì mất lợi ích về latency.
- Scaling Datastores at Slack with Vitess Bài tóm tắt · Slack · 2020
…ng không giải vấn đề vận hành và replica. - Loại NoSQL (DynamoDB, Cassandra) và NewSQL (Spanner, CockroachDB) vì có hàng nghìn query, nhiều cú pháp riêng của MySQL, và nhiều năm qu…
- How We Halved Go Monorepo CI Build Time Bài tóm tắt · Uber · 2022
…ên job: CTC nhanh hơn gần 60% . - Cache trên host: snapshot module cache Go (cho go mod tidy mỗi job) và output base của Bazel, job đầu trên máy tải về rồi chia cho job sau; làm nó…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đường lệch nhau: - Online: feature truyền vào model lúc phục vụ có thể khác định dạng với lú…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…h (SSD ổn định sau khoảng 30 phút, thấp hơn khoảng 5%), làm model bị thổi phồng. Đo lại 30 rồi 60 phút: không đỡ. - Saturation length 1 MB: IOTune báo cần request 1 MB mới đạt băng…
- Atomic slot migration with Redis 8.4 Bài tóm tắt · Redis · 2026
…- Redis Cluster chia key vào 16.384 hash slot ( CRC16(key) mod 16384 , hoặc phần trong {} ), mỗi node giữ một tập slot. Phải dời slot khi scale out/in và khi một key, slot hay nod…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…PI key-value thống nhất gộp hai lớp: - Delta store trên DynamoDB nhận ghi realtime (chọn vì latency đọc thấp và AWS vận hành); chia bảng theo ngày để mỗi bảng chỉ vài shard DynamoD…
- Advancing Our Chef Infrastructure Bài tóm tắt · Slack · 2024
…ột phiên bản, hoặc theo môi trường khác; trạng thái lưu DynamoDB; giao diện xem commit nào ở đâu; app Slack báo người viết khi thay đổi của họ được promote. - Promote theo lịch có…
- YouTube Architecture Bài tóm tắt · YouTube · 2007
…chính - Web: NetScaler cân bằng tải và cache tĩnh, Apache + mod fastcgi, app server Python; Python không phải nút thắt vì chủ yếu chờ RPC; dưới 100 ms mỗi trang. Cache nhiều tầng:…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ydration) −35 ms; bỏ phụ thuộc tín hiệu item trực tiếp khỏi model xếp hạng cửa hàng để hai bước chạy độc lập (mục tiêu −20 ms). Request hedging ở bốn tầng phụ thuộc của hydration h…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…tải tăng rồi không thu lại. Không có công cụ thần kỳ. - DynamoDB hot shard (~300.000 USD/năm): - Bị throttle dù đã cấp dư capacity. Thực tế tiền capacity quyết định số partition ,…
- Zero Sum by Design: 10 Years of Uber's Payments Platform Bài tóm tắt · Uber · 2026
…ợc lên các hệ thượng nguồn. - Số dư nhất quán mạnh trên DynamoDB: 2016 Uber vừa rời monolith, MySQL shard tự làm không bảo đảm được nhất quán mạnh cho số dư, nên dựng kho này trên…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
Nhiều team ở Walmart dùng Cassandra làm nguồn dữ liệu chính, đọc ghi hàng chục tới hàng trăm nghìn ops/giây. Theo bài, để tới được đó họ phải "quên" nhiều mẹo của thế giới RDBMS và chấp nhận schema trông "lạ" nhưng…
- On WordPress Scaling and Performance, The Zillow Way Bài tóm tắt · Zillow · 2012
…hách, để thêm server mới chỉ phải dời một phần nhỏ khách. - mod pagespeed tự minify, gộp request và viết lại URL tài nguyên tĩnh sang CloudFront với cache 1 năm, nên app server chỉ…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…không hợp Pod Kubernetes hay xoay vòng. - Phiên bản 2 = DynamoDB tự viết: việc của scheduler chỉ là "mỗi tick tìm job quá hạn rồi đẩy đi". Partition key = ID ngẫu nhiên (tải đều, t…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- How Etsy caches: hashing, Ketama, and cache smearing Bài tóm tắt · Etsy · 2017
…không chịu nổi nên scale ngang thành pool. Thay đổi chính - Modulo hashing dùng hết không gian cache nhưng đổi kích thước pool là đa số key chuyển máy: từ 4 lên 5 máy chỉ 20% key c…
- Etsy's Journey to TypeScript Bài tóm tắt · Etsy · 2021
…chuyển sang TypeScript: Stripe 2022 chuyển một lần bằng codemod , Yelp 2026 đi từng package , Etsy 2021 đi từng file, từng team, không dùng công cụ tự động . Bối cảnh - Etsy hơn 16…
- How Discord Stores Billions of Messages Bài tóm tắt · Discord · 2017
Bản đầu của Discord được viết trong chưa tới 2 tháng (đầu 2015). Mọi thứ nằm trong một replica set MongoDB, và họ nói rõ là cố ý: làm nhanh để kiểm chứng sản phẩm, nhưng luôn chừa đường sang giải pháp bền hơn. Họ biết…
- The Ultimate Load Test Bài tóm tắt · Tinder · 2020
…test riêng các service downstream dùng chung, vì test từng module công khai chỉ đẩy vào chúng một phần tải tổng. Kết quả: thêm vài cache, danh sách việc cần làm ở production. - Độ…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ài AWS). - Client: KPL là daemon C++ khó debug, KCL cần DynamoDB để lưu offset; ở hai công ty gần nhất tác giả đều phải tự viết KPL mỏng hơn. Kafka lưu offset trong chính nó. - Kin…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…sức mạnh của "cỗ máy nghiên cứu": thí nghiệm hôm nay thành model, tín hiệu, kiểm tra rủi ro và hạn mức vị thế ngày mai. Vòng nghiên cứu: đặt giả thuyết → chạy thí nghiệm → đánh gi…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…