Tìm kiếm
22 kết quả cho “Partitioning”. Tìm không phân biệt dấu.
- Partitioning GitHub's relational databases to handle scale Bài tóm tắt · GitHub · 2021
…— [bài gốc](https://github.blog/engineering/infrastructure/partitioning-githubs-relational-databases-scale/) Bối cảnh - Hơn 10 năm trước GitHub bắt đầu bằng Rails + một MySQL . -…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…nsert) để thu hẹp cận min/max và bỏ được nhiều file; bucket partitioning bằng murmur3 như Iceberg cho cột cardinality cao. - Variant (nhị phân, nhiều kiểu hơn JSON, tách được thành…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
Thông báo về nội dung trong mạng (Project Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
Trước mùa du lịch hè 2015, DB MySQL chính (trên RDS, còn từ thời Airbnb là một app Rails) phải giảm tải. Airbnb chọn tách dọc theo chức năng thay vì shard ngang (theo bài, đồng ý với Asana và Percona rằng shard ngang là…
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
2020: thêm tính năng, chuẩn bị ra sản phẩm thứ hai, user tăng. Traffic DB tăng khoảng 3 lần mỗi năm.
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
Trước Espresso, LinkedIn dùng Oracle (dữ liệu chính, nhất quán mạnh) và Voldemort (key-value). Phần lớn dữ liệu chính không cần đủ tính năng RDBMS nhưng lại cần đọc-sau-ghi và một change capture stream có thứ tự theo…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
Mọi trải nghiệm feed của LinkedIn chạy trên một hạ tầng chung. Trước đó là Sensei: hệ search phân tán trên Lucene, query viết bằng BQL gồm cả lọc lẫn relevance, broker fan-out tới mọi searcher node rồi gộp top N.
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
Các database của Console (báo cáo, lịch sử giao dịch) tự host trên EC2: hàng trăm tỷ dòng, gần 20 TB, 4 node shard (2021). HA bằng failover replica đơn giản; backup bằng snapshot đĩa AWS.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- GitHub Công ty Thành viên
Rails + một MySQL; sau đó tách vài tính năng, thêm replica, ProxySQL; nhưng lõi vẫn là cluster mysql1 được scale dọc liên tục. Từ 2019 họ tách ảo bằng schema domain + linter rồi dời vật lý bằng Vitess hoặc write-cutover…
- Migrating billions of records: moving our active DNS database while it's in use Bài tóm tắt · Cloudflare · 2024
Theo W3Techs (10/2024), Cloudflare là authoritative DNS của 14,5% website. Zone lớn nhất có ~4 triệu record, phần lớn zone dưới 100.
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- How GitHub Docs' new search works Bài tóm tắt · GitHub · 2023
Search của docs.github.com trước đây là index trong bộ nhớ của tiến trình Node.js (Express): cào hết văn bản (tiêu đề, heading, breadcrumb, nội dung), lưu ngay trong repo Git, sinh sẵn index serialize trên đĩa để nạp…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
Tải tăng vọt vì agent (theo GitHub): tổng sự kiện Git từ 218,2 tỉ lên 473,3 tỉ mỗi tháng (9/2025 → 8/2026); push tăng 4,9 lần trong một năm (0,69 → 3,35 tỉ/tháng); 7,38 tỉ commit trong tháng 9/2026, gấp hơn năm lần năm…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…m kết quả, leaf shared-nothing giữ dữ liệu; hash hoặc range partitioning, consistent hashing; MVCC chỉ trong một leaf, không có giao dịch xuyên shard cho tới khi làm 2PC. Metadata…
- Lessons from Deploying MySQL GTID at Scale Bài tóm tắt · Meta · 2014
Replication MySQL truyền thống dựa trên toạ độ tương đối (tên file binlog + vị trí). GTID (MySQL 5.6) gán cho mỗi transaction một ID duy nhất, nên replica tự biết mình đã chạy tới đâu (auto-positioning).
- How we scaled reads on the Twitter Users Database Bài tóm tắt · Twitter · 2023
URS (User Reservation System), theo Twitter là một trong những hệ thống loại này lớn nhất thế giới, được xây trên Gizzard, chính framework sharding MySQL từng dùng cho tweet năm 2010–2013 (, ). Gizzard có những tính…
- Parallel Run Pattern - A Migration Technique in Microservices Architecture Bài tóm tắt · Zalando · 2021
Ở Zalando microservices là chuẩn, nhưng theo bài: "microservice hôm qua thành monolith hôm nay". Team Returns phải tách logic trả hàng ra khỏi một monolith sắp thành legacy.