Tìm kiếm
40 kết quả cho “Queue worker”. Tìm không phân biệt dấu.
- Worker Backpressure (Part 1): How we taught our queue workers to slow down Bài tóm tắt · Canva · 2026
…og/engineering/worker-backpressure-part-1-how-we-taught-our-queue-workers-to-slow-down/) Phần 1 (vì sao và thiết kế tổng quát). Phần 2 (thuật toán controller, mô phỏng) chưa đăng k…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…com/timestone-netflixs-high-throughput-low-latency-priority-queueing-system-with-built-in-support-1abf249ba95f) Bối cảnh - Năm 2018, khi thiết kế Cosmos thay hệ encode media Reload…
- Scaling Slack's Job Queue Bài tóm tắt · Slack · 2017
…nh — [bài gốc](https://slack.engineering/scaling-slacks-job-queue/) Bối cảnh - Job queue chạy mọi việc không làm kịp trong request web: mỗi tin nhắn, push notification, unfurl URL,…
- How a durable workflow engine works: you might not need a queue Bài tóm tắt · Inngest · 2023
…engine, có phần quảng bá; mọi nhận định là theo Inngest. Hệ queue thật đằng sau: , . Bối cảnh Năm 2023 có tranh luận "database có làm queue được không". Theo Inngest, câu hỏi đó lệ…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…Trung bình — [bài gốc](https://www.inngest.com/blog/2024-10-queue-retros) Một bài gom bảy sự cố trong một tháng nâng cấp hệ queue. Không sự cố nào mất dữ liệu (theo Inngest). Hai n…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…irbnb-engineering/dynein-building-a-distributed-delayed-job-queueing-system-93ab10f05f99) Bối cảnh - Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc check-in trước nhiều tháng, thậm c…
- Building observability into Notion's dead-letter queue Bài tóm tắt · Notion · 2026
…on.com/blog/building-observability-into-notions-dead-letter-queue) Bối cảnh - Gần như mọi thao tác ở Notion có một task nền chạy qua job queue: thông báo khi bị @-mention, index tr…
- How we scaled async workload processing at GitLab.com using Sidekiq Bài tóm tắt · GitLab · 2020
…bằng Sidekiq trên Redis. Lịch sử: 2013 mỗi worker class một queue, không ai quản; 2016 gom theo tính năng; 2017 lại mỗi worker class một queue, gom thành nhóm realtime , asap , bes…
- Meet Bandaid, the Dropbox service proxy Bài tóm tắt · Dropbox · 2018
…hàng đợi quá timeout thì bị fail luôn. - Giữ kernel accept queue rỗng : Bandaid luôn accept TCP rồi tự xếp hàng. Lý do: client timeout và đóng kết nối bằng FIN khi request còn tro…
- Netflix Conductor: A microservices orchestrator Bài tóm tắt · Netflix · 2016
…hiện tại để lên lịch task tiếp theo. Hàng đợi task là dyno-queues trên Dynomite ; lưu trữ Dynomite, index thực thi trên Elasticsearch để tìm kiếm theo input/output. - Worker là hà…
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
…khỏi request. Request chỉ tạo bản ghi run bền, đẩy việc vào queue, trả về run ID ngay; worker làm việc; DB ghi tiến độ; client xem trạng thái, subscribe hay nhận callback. Bẫy: que…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…Bài ngoài sheet. Centrifuge là bước 1 trong (thay cho 140+ queue riêng); bài này cho thấy nó giữ lại cô lập lỗi phía đích , còn cô lập trước bug crash trong service đã gộp thì bài…
- How we stopped xmin horizon blocking Postgres vacuuming Bài tóm tắt · Trigger.dev · 2024
…(nền tảng chạy background job) dùng Postgres làm DB chính. Queue chính cho run (v3) nằm trên Redis; còn tác vụ nội bộ (lịch, email cảnh báo...) chạy bằng Graphile Worker , một job…
- A Lightweight Distributed Architecture to Handle Thousands of Library Releases at eBay Bài tóm tắt · eBay · 2022
eBay còn hơn 3.000 thư viện cũ build bằng hệ build dựa trên Ant, không còn được hỗ trợ. Mã nguồn được chuyển sang Maven chuẩn; sau đó cần một hệ release định kỳ cho tất cả, phải nhẹ, mở rộng được, ổn định, nhanh.
- Executing Cron Scripts Reliably At Scale Bài tóm tắt · Slack · 2023
…lợi: đổi leader rất nhanh, và việc nặng đã chuyển đi. - Job Queue của Slack (khoảng 9 tỉ job/ngày; Kafka để bền, Redis để giữ metadata ngắn hạn, rồi worker): mỗi script là một job,…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…theo Upstash. Không có số liệu. Bối cảnh - QStash (message queue/lịch gọi HTTP) và Upstash Workflow gọi endpoint của khách. - Thiết kế từ đầu để không phụ thuộc một máy lớn mãi: s…
- Maximum Warp: Building Migrations for Slack Enterprise Grid Bài tóm tắt · Slack · 2017
…erience tự chỉnh tốc độ mà không cần kỹ sư. - Chạy trên job queue () với queue và pool worker riêng để không ảnh hưởng job khác. Thêm job queue inspector : gắn tag cho task của từn…
- The feedback loops behind Kubernetes Bài tóm tắt · PlanetScale · 2026
…thì cần kho trạng thái mong muốn, watch thay vì poll, work queue, retry, leader election: tức là dựng lại Kubernetes. Cơ chế (theo bài) - Edge-triggered notification, level-trigge…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…đi , không tới được handler nên không vào được dead-letter queue: vượt giới hạn payload 4 MB mặc định của gRPC, instance đích (theo định tuyến cô lập) không hoạt động, interceptor…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…âm giữ request thừa và chỉ gửi tới replica còn chỗ; sidecar queue-proxy cạnh mỗi model server làm proxy cho probe (cấu hình TCP probe thay HTTP để ứng dụng không bị ngắt) và làm th…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
Hai phần trước của series tìm ra hai nguyên nhân làm instance lớn "không scale": hàng đợi công bằng trong IO Scheduler của Seastar tự bóp băng thông còn một phần nhỏ so với thông số, và block size/căn chỉnh của XFS gây…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Inngest Công ty Thành viên
Năm 2026 Inngest chuyển queue từ Valkey (trong RAM, đơn luồng) sang FoundationDB: làm phẳng mô hình từ ba cấp xuống hai, shard logic khoảng 20.000 account, dời account giữa shard, công bằng giữa tenant bằng scan có…