Tìm kiếm
40 kết quả cho “Queue trên DB”. Tìm không phân biệt dấu.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Announcing Deno Queues Bài tóm tắt · Deno · 2023
…Tăng trưởng · Độ khó: Dễ — [bài gốc](https://deno.com/blog/queues) Bài thông báo sản phẩm, chủ yếu là API và ví dụ; không có số liệu. Đọc cùng (lớp giao dịch của Deno KV mà Queues…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
…quả. Bối cảnh - Inngest (nền tảng durable execution) chuyển queue từ Valkey (bản fork của Redis, chạy trong RAM, thao tác queue đơn luồng) sang FoundationDB (KV có transaction, dữ…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…irbnb-engineering/dynein-building-a-distributed-delayed-job-queueing-system-93ab10f05f99) Bối cảnh - Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc check-in trước nhiều tháng, thậm c…
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
…benchmark) chưa đăng khi wiki đọc (URL trả 404). Bối cảnh - Queue của Inngest quyết định job nào chạy tiếp, cho account nào, trên executor nào; mọi lần chạy function đều đi qua nó,…
- The feedback loops behind Kubernetes Bài tóm tắt · PlanetScale · 2026
…thì cần kho trạng thái mong muốn, watch thay vì poll, work queue, retry, leader election: tức là dựng lại Kubernetes. Cơ chế (theo bài) - Edge-triggered notification, level-trigge…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
Nền tảng Delta của Netflix giữ nhiều kho dữ liệu đồng bộ: một kho là nguồn sự thật (MySQL), các kho khác dẫn xuất (Elasticsearch). CDC thay cho dual write và transaction phân tán.
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…Trung bình — [bài gốc](https://www.inngest.com/blog/2024-10-queue-retros) Một bài gom bảy sự cố trong một tháng nâng cấp hệ queue. Không sự cố nào mất dữ liệu (theo Inngest). Hai n…
- ScyllaDB Công ty Thành viên
ScyllaDB trong wiki là các bài kỹ thuật năm 2026 của nhà cung cấp. Series ba phần về I/O trên instance NVMe (AWS i7i): một giá trị mặc định INTMAX trong IO Scheduler bóp băng thông ở khoảng 8,5 GB/s ; sau khi sửa,…
- How we stopped xmin horizon blocking Postgres vacuuming Bài tóm tắt · Trigger.dev · 2024
…(nền tảng chạy background job) dùng Postgres làm DB chính. Queue chính cho run (v3) nằm trên Redis; còn tác vụ nội bộ (lịch, email cảnh báo...) chạy bằng Graphile Worker , một job…
- Goodbye Microservices: From 100s of problem children to 1 superstar Bài tóm tắt · Segment · 2018
…trễ. - Bước 2, microservices: mỗi destination có service + queue riêng, phía trước là router. Lỗi được cô lập, và thiết kế này đã giải đúng bài toán lúc đó. - Bước 3, repo riêng:…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…Bài ngoài sheet. Centrifuge là bước 1 trong (thay cho 140+ queue riêng); bài này cho thấy nó giữ lại cô lập lỗi phía đích , còn cô lập trước bug crash trong service đã gộp thì bài…
- How Upstash Redis Search Works? Bài tóm tắt · Upstash · 2026
…arch" riêng. - Bền trước khi trả lời: tài liệu được ghi vào queue trên đĩa trước, rồi mới thử đưa vào một Go channel nhỏ làm đầu queue trong bộ nhớ. Channel đầy thì không chờ: một…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
Hai phần trước của series tìm ra hai nguyên nhân làm instance lớn "không scale": hàng đợi công bằng trong IO Scheduler của Seastar tự bóp băng thông còn một phần nhỏ so với thông số, và block size/căn chỉnh của XFS gây…
- How Discord Supercharges Network Disks for Extreme Low Latency Bài tóm tắt · Discord · 2022
Discord chạy các cụm ScyllaDB trên Google Cloud, khoảng 4 tỉ tin nhắn/ngày (2022). Khi tải cao, hàng đợi đọc đĩa của DB tăng mãi và query bắt đầu timeout.
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…hì nhánh đó không chạy, INT MAX đi thẳng vào công thức fair queue và thành trần khoảng 8,x GB/s. Sửa: đổi mặc định sang uint64 t max. Theo bài, "một dòng sửa cho nhiều tuần làm việ…
- Integrated Gauges: Lessons Learned Monitoring Seastar's IO Stack Bài tóm tắt · ScyllaDB · 2026
Hệ giám sát kiểu scrape (Prometheus) chỉ lấy một điểm mỗi chu kỳ. Với giá trị đổi hàng nghìn lần mỗi giây (độ dài hàng đợi, latency request) mà chu kỳ scrape tính bằng phút, điểm lấy được chỉ là ảnh chụp ngẫu nhiên:…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
Upload file trong ứng dụng full-stack thì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…ption" (phần năng lực đĩa đang bị request chiếm) dao động, "queue flow ratio" (tốc độ vào so với tốc độ dispatch, nên gần 1,0) có gai; tổng băng thông commitlog + memtable + compac…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…hối cho các site) từ một hệ batch cũ sang pipeline dựa trên queue trên AWS . - Được: scale khi tải nặng, deploy nhanh hơn, hết lo mua thêm đĩa cho lượng ảnh tăng. Thay đổi chính (c…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…a job thành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng nghìn instance. Mọi task trong batch có cùng "expected start time" để worker bắt đầu đồng l…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Maximum Warp: Building Migrations for Slack Enterprise Grid Bài tóm tắt · Slack · 2017
…erience tự chỉnh tốc độ mà không cần kỹ sư. - Chạy trên job queue () với queue và pool worker riêng để không ảnh hưởng job khác. Thêm job queue inspector : gắn tag cho task của từn…
- Executing Cron Scripts Reliably At Scale Bài tóm tắt · Slack · 2023
…lợi: đổi leader rất nhanh, và việc nặng đã chuyển đi. - Job Queue của Slack (khoảng 9 tỉ job/ngày; Kafka để bền, Redis để giữ metadata ngắn hạn, rồi worker): mỗi script là một job,…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
…khỏi request. Request chỉ tạo bản ghi run bền, đẩy việc vào queue, trả về run ID ngay; worker làm việc; DB ghi tiến độ; client xem trạng thái, subscribe hay nhận callback. Bẫy: que…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- How WarpStream Powers Grafana Labs' Redesigned Architecture Bài tóm tắt · WarpStream · 2025
Grafana Mimir (2025): TSDB mã nguồn mở, scale ngang, multi-tenant, tương thích Prometheus; đã chạy tới 1 tỷ active series. Là nền của Grafana Cloud Metrics.
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
Cuối quý 3/2016: 2/3 giá vốn (COGS) của Segment là hoá đơn AWS.
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.