Tìm kiếm
40 kết quả cho “Message queue”. Tìm không phân biệt dấu.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…rule engine Plato, lớp serverless Stratum). Yêu cầu: - Một message chỉ giao cho một worker tại một thời điểm : việc encode rất tốn và fan-out ra hàng nghìn tác vụ; nếu replica trễ…
- Worker Backpressure (Part 1): How we taught our queue workers to slow down Bài tóm tắt · Canva · 2026
…nva chạy hàng nghìn queue ; worker được viết "tham lam": có message và còn sức là lấy xử lý ngay. Lúc dependency khoẻ thì đó là điều mong muốn. - Khi dependency (datastore, service…
- How a durable workflow engine works: you might not need a queue Bài tóm tắt · Inngest · 2023
…vent khớp điều kiện, có timeout). Engine phải gộp queue với message broker: mỗi event đồng thời khởi động run mới, xét huỷ, xét tín hiệu chờ; kèm rate limit, debounce, idempotency,…
- Scaling Slack's Job Queue Bài tóm tắt · Slack · 2017
Job queue chạy mọi việc không làm kịp trong request web: mỗi tin nhắn, push notification, unfurl URL, nhắc lịch, tính tiền. Ngày bận nhất hơn 1,4 tỉ job, đỉnh 33.000 job/giây.
- Announcing Deno Queues Bài tóm tắt · Deno · 2023
…ploy thì trên FoundationDB; Deploy tự bật V8 isolate khi có message. - At-least-once: đa số message gọi handler một lần, khi lỗi có thể nhiều lần; ứng dụng phải chịu được trùng. -…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
Inngest chạy durable workflow cho khách; lõi là một queue đa tenant có flow control theo key do user đặt. Tháng 10/2024 họ nâng cấp liên tục; kết quả cuối tháng là P95 latency thực thi khoảng 50 ms với hàng chục nghìn…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…, cô lập theo service , p95 lệch giờ dưới 10 giây, ack từng message, dead letter queue, mỗi service một worker pool riêng, huỷ được job. - Hệ cũ: một cụm Resque trung tâm của monol…
- Building observability into Notion's dead-letter queue Bài tóm tắt · Notion · 2026
Gần như mọi thao tác ở Notion có một task nền chạy qua job queue: thông báo khi bị @-mention, index trang cho search, sinh embedding, đồng bộ lịch, export workspace. Queue phân phối việc sao cho không workspace hay team…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…s://blog.janestreet.com/scaling-and-benchmarking-a-critical-message-bus/) Bối cảnh - Aria là framework và hệ messaging nội bộ (dựa trên state machine replication) xử lý nhiều terab…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…đầu. Ban đầu dùng NSQ : tiện kiểu queue (xử lý và ack từng message), nhưng không bền , đó là khoảng cách duy nhất tới at-least-once. - Chuyển sang Kafka vì độ bền, nhưng muốn giữ…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…định là theo Upstash. Không có số liệu. Bối cảnh - QStash (message queue/lịch gọi HTTP) và Upstash Workflow gọi endpoint của khách. - Thiết kế từ đầu để không phụ thuộc một máy lớ…
- 1M messages per second: Applying E2EE to Apache Kafka in the LINE app Bài tóm tắt · LINE (LY Corp) · 2026
…ngắn. Bối cảnh - Một topic Kafka lớn của LINE, tới 1 triệu message/giây , do một team publish và nhiều team consume, chứa dữ liệu cá nhân nhạy cảm. - TLS, SASL, ACL bảo vệ đường t…
- The WhatsApp Architecture Facebook Bought For $19 Billion Bài tóm tắt · WhatsApp · 2014
…g trăm node, hơn 8.000 core, hàng trăm TB RAM, hơn 70 triệu message Erlang mỗi giây. - Server gần như toàn bộ là Erlang trên FreeBSD , có patch riêng cho BEAM (máy ảo Erlang); máy…
- The Lego Monolith — A Monolith Microservice Proof of Concept Bài tóm tắt · Slalom Build · 2016
…qua interface tách rời : REST (dù chạy chung process) hoặc message queue bất đồng bộ. Ví dụ trong POC: tạo đơn bán gọi REST sang service sản phẩm để kiểm tồn kho, lưu đơn, rồi pub…
- How we scaled async workload processing at GitLab.com using Sidekiq Bài tóm tắt · GitLab · 2020
GitLab (Rails) xử lý việc nền bằng Sidekiq trên Redis. Lịch sử: 2013 mỗi worker class một queue, không ai quản; 2016 gom theo tính năng; 2017 lại mỗi worker class một queue, gom thành nhóm realtime, asap, besteffort để…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…ing-ufowarder/) Bối cảnh - Kafka ở Uber xử lý hàng nghìn tỉ message và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một cụm proxy lấy message từ Kafka bằn…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…hưng tải khách theo luật lũy thừa; một khách lớn dồn 50.000 message liền nhau vào queue của một đích có rate limit 1.000/giây/khách thì hoặc chặn khách nhỏ 50 giây, hoặc gặp 429 rồ…
- 5-year Evolution of Ele.me's Transaction System - Part 2 Bài tóm tắt · Ele.me · 2020
…i khoảng 10 phút ; hôm sau nhập lại đơn 3 tháng gần nhất. - Message broadcast cho đơn hàng (từ 7/2015): chọn RabbitMQ (cụm 3 broker riêng) vì đội vận hành có kinh nghiệm, dù tác gi…
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
Cách làm agent đầu tiên thường là bọc model trong một route handler và chờ response. Theo Render, đó là thứ hỏng đầu tiên ở production: agent chạy lâu (giờ, có khi ngày), có trạng thái (mục tiêu, kế hoạch, kết quả tool,…
- Executing Cron Scripts Reliably At Scale Bài tóm tắt · Slack · 2023
Cron chạy chức năng then chốt: nhắc việc đúng giờ, gửi email, dọn DB. Ban đầu là một máy chứa mọi script và một crontab; số script và dữ liệu tăng thì đổi máy to hơn. Một máy nên lỗi cấp phát, xoay vòng hay cấu hình là…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…ebezium chỉ nghe các bảng có hậu tố events . - Mọi event là message Avro ; người viết service tự dựng message và ghi nó vào bảng …-events trong cùng giao dịch với thay đổi dữ liệu,…
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…định về công cụ ghi "theo Jane Street". Bối cảnh - Aria là message bus nội bộ độ trễ thấp, có thứ tự chặt và bảo đảm tin cậy, làm nền cho các team khác dựng hệ chịu lỗi (xem index…
- Inside Minerva: building scalable observability for eBay's monetization platform Bài tóm tắt · eBay · 2026
Hệ tính phí (monetization) của eBay phụ thuộc khoảng 200 thuộc tính của item, seller, marketplace, campaign; eBay báo Q2/2026 có 136 triệu buyer, 2,6 tỉ listing. Một tổng toàn cục có thể trông bình thường trong khi một…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
Digest là email cá nhân hoá hằng ngày, phải tới 8–9 giờ sáng theo giờ địa phương. Gửi hàng triệu email/ngày; là một trong những tải nặng nhất.
- Netflix Conductor: A microservices orchestrator Bài tóm tắt · Netflix · 2016
Content Platform Engineering chạy các quy trình nghiệp vụ bất đồng bộ trải qua nhiều microservice, có cái kéo dài nhiều ngày: nhận nội dung từ studio, ingest IMF, dựng title mới, encode và đẩy lên CDN.
- Utilizing Amazon DynamoDB and AWS Lambda for Asynchronous Event Publication Bài tóm tắt · Zalando · 2022
…qua REST đồng bộ; mỗi thay đổi phải phát event lên Nakadi (message bus của Zalando). - Ban đầu service ghi DynamoDB rồi gửi event ngay trong request, nên phụ thuộc cả DB lẫn bus.…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.
- Caching Without Marshal Part 1: Marshal from the Inside Out Bài tóm tắt · Shopify · 2022
…-part-one) Phần 1 của hai phần; phần 2 kể cách migrate sang MessagePack. Phần lớn bài này mổ xẻ định dạng Marshal; wiki giữ phần sự cố và lý do. Bối cảnh - Mọi loại cache của Rails…
- Catching bugs on the client-side: how we developed our error tracking system Bài tóm tắt · Bumble · 2020
…hưa biết Rust). - Gom nhóm bằng fingerprint (hash): JS theo message, type, origin; Android theo ba dòng đầu stack trace; iOS theo frame đầu không thuộc hệ thống trong thread bị cra…
- How Discord Supercharges Network Disks for Extreme Low Latency Bài tóm tắt · Discord · 2022
Discord chạy các cụm ScyllaDB trên Google Cloud, khoảng 4 tỉ tin nhắn/ngày (2022). Khi tải cao, hàng đợi đọc đĩa của DB tăng mãi và query bắt đầu timeout.
- Why market data is a deep learning challenge Bài tóm tắt · Optiver · 2026
…lúc bận, vài giây lúc vắng); chuỗi rất dài (hàng trăm triệu message một ngày; cửa sổ 100.000 sự kiện chỉ phủ khoảng một phút trung bình). - Model còn phải nằm trong ngân sách laten…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…