Tìm kiếm
40 kết quả cho “query sharding”. Tìm không phân biệt dấu.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Sharding Cash Bài tóm tắt · Square · 2018
…hỗ "ảo giác" hở: transaction xuyên shard không ACID đầy đủ, query fan-out có hiệu năng và uptime khác hẳn. Vì giữ tiền của khách, Cash App không đổi nhất quán lấy availability : sử…
- Migrating Etsy's database sharding to Vitess Bài tóm tắt · Etsy · 2026
…n rồi lưu ánh xạ vào một "index database" không shard ; mỗi query phải tra DB này trước. - Ưu: scale được; một shard sập chỉ mất 1/1000 traffic. - Nhược: - scale ngang làm tay, phứ…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…nhiều vào secondary index; range-based vì dùng nhiều range query; dải ghi trong tên bảng T shard x y , metadata trong ZooKeeper. - API sharded select() nhận cột shard và một khoá,…
- Geosharded Recommendations Part 1: Sharding Approach Bài tóm tắt · Tinder · 2019
…huẩn của load giữa các shard. - Số shard: - quá nhỏ thì một query 100 dặm phải chạm hàng trăm shard (p90/p99 tệ); - user di chuyển qua ranh giới phải dời giữa index, mà việc này kh…
- The history of Postgres sharding Bài tóm tắt · PlanetScale · 2026
…ype PL/Proxy (2007): proxy định tuyến bằng hàm SQL; mỗi mẫu query cần một hàm riêng. - Instagram (2012): khoảng 30 triệu user, shard logic bằng hàng nghìn schema trên vài máy vật l…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…/giây, tới 10.000 dashboard và 500.000 alert, p99 thời gian query dưới 30 giây . Thay đổi chính - Tenant theo service (khoảng 1.000 service ), không theo team vì quyền sở hữu team…
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…i mất khả năng tổng hợp ad-hoc trên toàn bộ dữ liệu, vì chỉ query được phần đã kéo về instance global. Thay đổi chính - Sharding + remote read: hai loại instance. Shard chỉ lo scra…
- Scaling Etsy Payments with Vitess: Part 3 – Reducing Cutover Risk Bài tóm tắt · Etsy · 2023
…patch vào Vitess và giữ một fork nội bộ). Vai trò: đảm bảo query do ORM sinh ra tương thích vindex và cấu hình Vitess giữ đúng đảm bảo dữ liệu mà ứng dụng cần. - Vitess che shardi…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…dịch và ngày nghỉ gần như không có user. Cao điểm 40–50.000 query/giây dù đã có lớp cache phía trước. - Nhiều năm chỉ chạy một cặp master-replica (32 core, 64 GB RAM) chứa hàng tỷ…
- How We Improved Our Performance Using ElasticSearch Plugins: Part 2 Bài tóm tắt · Tinder · 2019
…051da2ee85b) Phần 2 trong hai bài; phần 1: . Bối cảnh - Mỗi query gợi ý phải gửi kèm danh sách bỏ qua (người đã xem gần đây, đã match), dùng terms query. Với người dùng rất tích cự…
- Slack's Incident on 2-22-22 Bài tóm tắt · Slack · 2022
…ao điểm và vượt điểm tới hạn: cache hit rate tụt. - Scatter query: lúc boot client lấy danh sách thành viên các GDM (DM nhóm) của mình, đọc từ keyspace shard theo user , nên tìm th…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…sting đang hoạt động. Tìm kiếm theo từ khoá vấp từ đồng âm, query đuôi dài, ý định người dùng; team CoreAI dựng một engine ANN để tìm listing giống nhau theo embedding (tiêu đề, th…
- The Great Re-shard: adding Postgres capacity (again) with zero downtime Bài tóm tắt · Notion · 2023
…PgBouncer mở 18 kết nối vào mỗi shard cũ; giảm kết nối thì query bị dồn. Lời giải: tách PgBouncer thành cụm riêng cho mỗi DB không shard và cho mỗi nhóm 24 shard (4 nhóm), chuyển…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…t của MySQL). Không dùng bảng tra ánh xạ như Twitter vì mỗi query MySQL trên AWS khoảng 3 ms. Mọi dữ liệu của một user (board, pin) nằm cùng shard với user nên trang profile không…
- Geosharded Recommendations Part 2: Architecture Bài tóm tắt · Tinder · 2019
…node theo route; - lấy gợi ý → tầng logic tính số shard cần query theo vị trí và bán kính → query song song → gộp kết quả. - Multi-index trong một cluster, không multi-cluster. - M…
- Scaling Etsy Payments with Vitess: Part 2 – The "Seamless" Migration Bài tóm tắt · Etsy · 2023
…trên cột nullable), học dùng VDiff để kiểm nhất quán, chạy query thử qua Vitess để ước tải, tìm cách dùng secondary index ( CreateLookupVindex , ExternalizeVindex ). - VReplicatio…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…ck trong vài giây. - Kiểm chứng view: load test bằng corpus query production (overhead tối đa <10%), cộng shadow reads so sánh kết quả có view và không có view. - Rồi mới tách vật…
- Scaling Datastores at Slack with Vitess Bài tóm tắt · Slack · 2020
…assandra) và NewSQL (Spanner, CockroachDB) vì có hàng nghìn query, nhiều cú pháp riêng của MySQL, và nhiều năm quy trình vận hành viết cho MySQL. - Theo Slack: họ bảo thủ với công…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
…i đã có DB riêng. Lần tách DB trước là năm 2012. - Profiler query phía client (tự viết vì RDS giới hạn) cho thấy hộp thư tin nhắn chiếm gần 1/3 số ghi của DB chính và tăng tuyến tí…
- Unlocking Horizontal Scalability in Our Web Serving Tier Bài tóm tắt · Airbnb · 2016
…a cao điểm 2016. - Sự cố trước đó: Threads running vọt lên (query xấu hoặc storage chập chờn) làm latency và tỉ lệ lỗi tăng khắp stack; kỹ sư phải kill kết nối bằng tay. Thay đổi c…
- Postgres backups under the hood Bài tóm tắt · PlanetScale · 2026
…p cho migration . Nhưng ở cỡ 30 TB thì tranh CPU và I/O với query của người dùng, không có PITR , và nguy hiểm hơn: nó giữ một snapshot giao dịch suốt thời gian dump, chặn autovacu…
- 5-year Evolution of Ele.me's Transaction System - Part 2 Bài tóm tắt · Ele.me · 2020
…. sửa SQL không tương thích (sắp xếp xuyên shard, thống kê, query không có khoá shard). Team nghiệp vụ mất nhiều thời gian nhất ở bước này; 4. ghi kép, đọc dữ liệu mới; 5. chuyển h…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
…để giới hạn phạm vi. - Khoá shard: AccountSid , vì hầu hết query nằm trong một account. Ánh xạ kết hợp range + lookup : range để cấu hình gọn, lookup để tách riêng một account rất…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…lag đỉnh giảm khoảng 70%. Rollback tự động, alert-as-code, query kiểm tất định, môi trường thử giống production. - Feature dạng chuỗi của transformer (mảng cửa hàng) vượt giới hạn…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Partitioning GitHub's relational databases to handle scale Bài tóm tắt · GitHub · 2021
…ng mọi tính năng trên đó. - 2019: mysql1 trung bình 950.000 query/giây (900K trên replica, 50K trên primary). Thay đổi chính 1. Tách ảo trước (virtual partitions): - Schema domain:…