Tìm kiếm
40 kết quả cho “tách đọc/ghi”. Tìm không phân biệt dấu.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- PlentyOfFish Architecture Bài tóm tắt · PlentyOfFish · 2007
…ol dựng sẵn. - Database: một DB chính và hai DB cho search; tách đọc khỏi ghi, có DB chỉ đọc, denormalize thành bảng chỉ để đọc thay vì đọc 20 bảng. Theo Frind, gọi DB 20 lần mỗi t…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…2020 . Cuối 2022 đã có cache, read replica và khoảng 12 DB tách dọc (). - Họ đo trần theo nhiều chiều (CPU, IO, kích thước bảng, số hàng ghi) bằng dữ liệu lịch sử + load test. Kết…
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
…n gặp lỗi scale. - Tự host thì đội chưa có kỹ năng. 3. Chọn tách dọc theo nhóm bảng: - Chọn bảng theo hai tiêu chí: - Tác động: đo average active sessions bằng cách lấy mẫu pg stat…
- Stack Overflow Công ty Thành viên
Phản ví dụ nên đọc sớm cho niềm tin "lớn thì phải scale out". Năm 2009, với 16 triệu page view mỗi tháng, Stack Overflow chạy hai web server và một SQL Server, chạm giới hạn thì nâng RAM; theo Jeff Atwood, phần cứng rẻ…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
…ocketio-adapter , Redis (ElastiCache) làm broker trung tâm, tách node đọc/ghi. Tự viết thay vì mua gateway thương mại để giữ logic nghiệp vụ tích luỹ nhiều năm và kiểm soát cả hand…
- New Tweets per second record, and how! Bài tóm tắt · Twitter · 2013
…/server chung có pool kết nối, failover, load balancing). - Tách service theo "danh từ lõi": Tweet, timeline, user. - Storage: T-Bird = Gizzard đứng trước nhiều MySQL, hash tweet đ…
- Real-Time Indexing for Billions of Vectors: How we built fast, fresh vector indexing at scale in CockroachDB Bài tóm tắt · Cockroach Labs · 2025
…hắp partition nên không có range nóng. Partition quá to thì tách nền bằng K-means cân bằng; vector có thể phải dời sang partition có centroid gần hơn sau khi tách (ý từ SPFresh); p…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
…(cộng một đồ thị xã hội trong RAM trên máy riêng). DB được tách thành các service riêng cho profile, search, nhóm, network update, công ty; có read replica nhưng chưa có cách scal…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…máy; rebalance bằng cách di chuyển nguyên partition, không tách. - Lưu trữ: RocksDB (LinkedIn viết JNI binding và đóng góp lại). Timeline là danh sách liên kết các blob có kích th…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…để scale ngang vượt giới hạn dọc của MongoDB, nay dùng cho: tách shard khi tải lên, gộp (bin-pack) shard dùng ít , nâng phiên bản engine, chuyển khách lớn từ multi-tenant sang tena…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…r, nên migration không được làm gián đoạn. Thay đổi chính - Tách thành database theo domain/team với ACL chặt, theo các nguyên tắc: không downtime, không mất/trùng dữ liệu, availab…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…khoảng 2 TB RAM, chia 16 partition, khoảng 18 tỉ record. - Tách để lỗi không lan: mọi thứ được partition; hàng đợi đọc và ghi riêng; mỗi node đích một process gửi riêng để node hỏ…
- PlentyOfFish Công ty Thành viên
Site hẹn hò do nhà sáng lập Markus Frind vận hành một mình. Nguồn duy nhất trong wiki là bản tóm tắt của HighScalability (2007, cập nhật tới 2009), nguồn thứ cấp: 1,2 tỉ page view/tháng trên 2 web server và 3 DB server…
- Avoiding Double Payments in a Distributed Payments System Bài tóm tắt · Airbnb · 2019
…cuối mà client tự kích hoạt được khi cần. Bài học cho SWE - Tách hẳn việc gọi mạng khỏi transaction DB; ranh giới pha rõ ràng làm trạng thái hỏng có thể khôi phục. - Phân loại lỗi…
- A Decade of Evolution of Alibaba's Databases - Part 1 Bài tóm tắt · Alibaba · 2019
…Double 11 thì online mượn tài nguyên offline. Điều kiện là tách compute khỏi storage ở tầng DB. - 2017: bắt đầu tự động tối ưu SQL. Vì sao (theo Alibaba) Mỗi kỳ Double 11 đặt ra y…
- How Coinbase built a governed platform for internal operations Bài tóm tắt · Coinbase · 2026
…or chạy qua hàng đợi mới thực hiện, lỗi thì để người xử lý. Tách đề xuất khỏi thực thi cho cùng lúc điểm duyệt, bước thực thi idempotent và audit cả yêu cầu lẫn hành động. - Hai ra…
- How Discord Stores Billions of Messages Bài tóm tắt · Discord · 2017
Bản đầu của Discord được viết trong chưa tới 2 tháng (đầu 2015). Mọi thứ nằm trong một replica set MongoDB, và họ nói rõ là cố ý: làm nhanh để kiểm chứng sản phẩm, nhưng luôn chừa đường sang giải pháp bền hơn. Họ biết…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata.
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
HRT nạp lượng dữ liệu lớn; researcher dùng nó để phát triển và kiểm ý tưởng, ý tưởng tốt thành chiến lược giao dịch. Phần lớn hạ tầng on-premises, trước đây trộn Lustre, NFS filer và vài hệ mã nguồn mở tự vận hành.
- Flex Model: an event-driven feature engineering system Bài tóm tắt · Jane Street · 2026
…ng instance quan trọng nhất của hệ cũ. - Mục tiêu thiết kế: tách tính feature khỏi code khớp lệnh; feature là mảnh code nhỏ ghép được, định nghĩa ở đúng một chỗ; nhanh, nghĩa là kh…
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…ông muốn bật hỗ trợ i7i khi số đo còn sai. Thay đổi chính - Tách hai triệu chứng: IOPS thấp nhưng vẫn scale, băng thông thì đứng hẳn. Coi đó là hai lỗi khác nhau giúp thu hẹp nhanh…
- What it takes to run Stack Overflow Bài tóm tắt · Stack Overflow · 2013
…hông thuê được trên cloud với giá hợp lý. Bài học cho SWE - Tách riêng số máy đang chạy và số máy thực sự cần . Phần chênh lệch là dư thừa có chủ đích (dự phòng, deploy cuốn chiếu)…
- How Upstash Redis Search Works? Bài tóm tắt · Upstash · 2026
Redis lưu và trả dữ liệu nhanh nhưng truy vấn thì khó: sorted set giả lập vài mẫu truy cập, còn lại phải scan. Với Upstash Redis (bền mặc định, hay được dùng làm DB chính), đây là giới hạn lớn. Upstash Redis Search thêm…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…, thiết kế schema có tác động lớn nhất trong mọi tối ưu. 2. Tách mối quan tâm: dùng Solr chung với Cassandra cho secondary index; mỗi mutation làm Solr đọc cả partition (vài MB) và…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…bảo trì. Bài học cho SWE - Bootstrap từ snapshot tĩnh (S3) tách độ tin cậy lúc khởi động khỏi availability của dịch vụ điều khiển, và tránh thundering herd khi deploy. - Trước khi…
- How we modified our infrastructure to deploy an EU data center Bài tóm tắt · Asana · 2020
Khách hàng doanh nghiệp muốn chọn nơi đặt dữ liệu; Asana mở hạ tầng ở châu Âu (12/2019).
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
Edgestore là lớp trừu tượng trên hàng nghìn node MySQL, giữ hàng petabyte metadata, hơn 10 triệu request/giây. Developer gom dữ liệu hay đi cùng nhau vào một colo (cùng shard vật lý): trong colo có transaction mạnh,…