Tìm kiếm
40 kết quả cho “Database as a queue”. Tìm không phân biệt dấu.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…cture/beyond-synthetic-testing-capturing-and-replaying-real-database-workloads-at-airbnb/) Bối cảnh - Fleet MySQL-compatible của Airbnb (2026): hàng trăm cụm , hàng nghìn use case,…
- How Uber Conquered Database Overload: From Static Rate-Limiting to Intelligent Load Management Bài tóm tắt · Uber · 2026
Docstore (có transaction, CRUD) và Schemaless (tối ưu append) là hai DB phân tán tự làm trên MySQL: hàng nghìn cụm, hàng chục PB, hàng chục triệu request mỗi giây. Kiến trúc chung: query engine stateless (lập kế hoạch,…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
Postgres chính của Inngest giữ dữ liệu quản lý account (account, workspace, cấu hình). Service hỏi nó định kỳ (quyền theo gói, account chạy trên phần hạ tầng nào) qua PgBouncer, và mọi service dùng chung các pool.
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…/2024/12/automating-periodic-data-transfer-from-operational-database-to-a-data-warehouse.html) Bài mô tả giải pháp ở mức khái niệm ("cần chỉnh theo nhu cầu"), không kèm số liệu pro…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…đầu để không phụ thuộc một máy lớn mãi: storage là một pool database Upstash Redis , tài nguyên và task của khách rải qua các DB, thêm DB khi cần thay vì migrate sang node to hơn;…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…AM) và sinh code (HipHop dịch PHP sang C++). Ghép hai ý vào database: DB trong RAM nhưng giao diện là SQL thay vì KV. - Đối tác của Facebook đụng scale rất nhanh (game thêm 2–3 tri…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc check-in trước nhiều tháng, thậm chí nhiều năm). Yêu cầu: at-least-once, scale ngang, cô lập theo service, p95 lệch giờ dưới 10 giây, ack từng message, dead letter queue, mỗi…
- Scaling High-Availability Infrastructure in the Cloud Bài tóm tắt · Twilio · 2011
…Hạ tầng HA phải tự phục hồi . - Thứ khó tự động hoá nhất là database và các thành phần có trạng thái, nhất là trên cloud, nơi không có phần cứng chuyên dụng tự failover. "Lưu trữ d…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Atlassian Công ty Thành viên
Atlassian lên AWS năm 2016. Tenant Context Service (ánh xạ tenant → vị trí, gọi nhiều lần trong mỗi request) được tối ưu qua bốn bài học "không có phép màu": DynamoDB, load balancer, cache, client . Cùng năm 2019, nền…
- Building observability into Notion's dead-letter queue Bài tóm tắt · Notion · 2026
…cell một external table ( dead tasks {cellId} ) trong Glue database theo region, partition theo ngày và giờ để cắt bớt dữ liệu trước khi quét. Không dựng index phụ hay ETL. Mỗi re…
- How a durable workflow engine works: you might not need a queue Bài tóm tắt · Inngest · 2023
…ệ queue thật đằng sau: , . Bối cảnh Năm 2023 có tranh luận "database có làm queue được không". Theo Inngest, câu hỏi đó lệch trọng tâm: với workflow engine, chi tiết queue không nê…
- DoorDash Công ty Thành viên
Nguồn đầu tiên của DoorDash trong wiki là bài 2022 của một thực tập sinh nghiên cứu (CMU): chaos engineering ở production không hợp với DoorDash vì khách mất đơn, nên thử fault injection có hệ thống ở mức service…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…lượng đó một cách đơn giản. Thay đổi chính - Queue ảo trên database: thứ tự giao nằm trong MySQL (RDS), nên đổi chất lượng dịch vụ hay thứ tự giao chỉ là một câu SQL , không phải…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…nhỏ còn vài mili giây, lô khổng lồ vài giây. 4. API đi theo database: database chính ở Portland, API chạy active-active ở Portland và Amsterdam. RTT Portland–Amsterdam khoảng 50 ms…
- How Upstash Keeps Your Redis Up When an Availability Zone Isn't Bài tóm tắt · Upstash · 2026
…l và CME Direct cũng gián đoạn. Theo Upstash, gốc chung là "database nằm trong một AZ". - "Cứ promote replica" là cách mất dữ liệu: replica trễ vài giây vẫn trả lời, promote bừa là…
- Postgres as Your Platform: Building Event-Driven Systems with Schema Changes Bài tóm tắt · Neon · 2025
…chính - Theo Neon, đội platform thường dựng giàn giáo quanh database (message queue để phát thay đổi, cron đồng bộ schema, webhook báo hệ phía sau). Postgres đã có sẵn đủ thứ để th…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
Tải tăng vọt vì agent (theo GitHub): tổng sự kiện Git từ 218,2 tỉ lên 473,3 tỉ mỗi tháng (9/2025 → 8/2026); push tăng 4,9 lần trong một năm (0,69 → 3,35 tỉ/tháng); 7,38 tỉ commit trong tháng 9/2026, gấp hơn năm lần năm…
- Netflix Conductor: A microservices orchestrator Bài tóm tắt · Netflix · 2016
…ược điều phối tuỳ biến: pub/sub, gọi REST trực tiếp, và một database giữ trạng thái. Khi số service và độ phức tạp tăng thì không còn nhìn thấy quy trình. Thay đổi chính - Bỏ chore…
- Catching bugs on the client-side: how we developed our error tracking system Bài tóm tắt · Bumble · 2020
Bumble và Badoo có web (desktop, mobile) và app Android, iOS với hàng triệu người dùng. Web phát hành 1–2 lần mỗi ngày, app native khoảng một lần mỗi tuần; phân tích lỗi là một bước của mỗi lần phát hành: release…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…ác store và index (search, graph, data lake, OLAP) như một "database tách rời"; lỗi index thì dựng lại từ log. Model mở rộng được theo domain: các team tự thêm aspect có kiểu mạnh…
- The feedback loops behind Kubernetes Bài tóm tắt · PlanetScale · 2026
…phải cái vừa ghi) để phát hiện drift; trạng thái tự báo của database (vai trò, độ trễ follower, có nhận ghi); một collector nền cho tín hiệu đắt hay bị rate limit (dung lượng đĩa,…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
…cache. Nếu một request đã lấy ánh xạ cũ ngay trước đó: cùng database thì không sao; khác database thì migration phải gom phần sót lại. - Dời account giữa shard: - cùng database: ch…
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…gger-instances-dont-scale/) Series ba phần của nhà cung cấp database: phần 1 (bài này, IO Scheduler) · phần 2 (XFS, read-modify-write) · phần 3 (checklist tổng kết). Các con số là…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…i cảnh - Khoảng 2007 LinkedIn bắt đầu chạm giới hạn của một database tập trung , chuyển sang một danh mục hệ phân tán chuyên biệt: search, social graph, Voldemort (key-value), Espr…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…falls-of-modern-storage-i-o/) Bài tổng kết của nhà cung cấp database, rút từ các cuộc điều tra hiệu năng trên instance NVMe (AWS i7i). Các con số là của ScyllaDB trên phần cứng của…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
Doximity là mạng nghề nghiệp cho bác sĩ; câu hỏi kiểu "hai user nối với nhau thế nào", "bạn cấp 1 hay 2", "đồng nghiệp chung" khó hoặc chậm trên SQL. Họ dùng Neo4j cho đồ thị quan hệ, cạnh ứng dụng Rails.
- Inside Minerva: building scalable observability for eBay's monetization platform Bài tóm tắt · eBay · 2026
…trống giám sát. - Enrich bất đồng bộ: consumer nền đọc read database giao dịch để lấy phí, listing, account, khuyến mãi; dữ liệu giám sát vì thế nhất quán sau (eventually consisten…
- How we store and process millions of orders daily Bài tóm tắt · Grab · 2022
Grab Order Platform xử lý hàng triệu đơn GrabFood/GrabMart mỗi ngày (2022).
- Microservice Architecture at Medium Bài tóm tắt · Medium · 2018
…cho SWE - Hỏi " vì sao bây giờ? ", không chỉ "vì sao" (). - Database dùng chung là cách nhanh nhất để có distributed monolith; quyền sở hữu dữ liệu quan trọng hơn kích thước servic…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
Inngest chạy durable workflow cho khách; lõi là một queue đa tenant có flow control theo key do user đặt. Tháng 10/2024 họ nâng cấp liên tục; kết quả cuối tháng là P95 latency thực thi khoảng 50 ms với hàng chục nghìn…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…4f6358126) Series 3 phần: (tổng quan) · phần 2 (bài này) · (database). Bối cảnh - Trước dự án: 2 Oracle trong DC (subscription; hoá đơn/thanh toán), vài app REST làm CRUD cho websi…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- How we stopped xmin horizon blocking Postgres vacuuming Bài tóm tắt · Trigger.dev · 2024
Trigger.dev (nền tảng chạy background job) dùng Postgres làm DB chính. Queue chính cho run (v3) nằm trên Redis; còn tác vụ nội bộ (lịch, email cảnh báo...) chạy bằng Graphile Worker, một job queue trên chính Postgres,…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
Queue của Inngest quyết định job nào chạy tiếp, cho account nào, trên executor nào; mọi lần chạy function đều đi qua nó, và nó phải giữ công bằng giữa các tenant. Hiện chạy nhiều shard queue tách theo bậc giá (free,…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…). - Bài học theo Dream11: Debezium đọc binlog thêm tải lên database ; JDBC source không thấy delete và các lần cập nhật trung gian, và có thể bỏ sót transaction chạy lâu. - Enrich…
- 5-year Evolution of Ele.me's Transaction System - Part 2 Bài tóm tắt · Ele.me · 2020
DB đơn hàng: 1 primary MySQL + 5 secondary + 1 node cho MHA. Không chịu được tải đột biến: nếu phòng kinh doanh không báo trước khuyến mãi thì secondary sập và chỉ còn biết chuyển qua lại giữa các DB.