Tìm kiếm
38 kết quả cho “worker pool”. Tìm không phân biệt dấu.
- Meet Bandaid, the Dropbox service proxy Bài tóm tắt · Dropbox · 2018
…àng đợi đầy vì khó phân biệt quá tải với traffic bùng nổ. - Worker pool cố định để khống chế concurrency tới upstream; số worker quá lớn so với số host khoẻ làm mất tác dụng gracef…
- Unlocking Horizontal Scalability in Our Web Serving Tier Bài tóm tắt · Airbnb · 2016
…. - Triển khai thành service: mỗi DB lõi một cụm proxy (một worker thread mỗi instance, nhiều instance), tìm qua SmartStack; thêm routing theo AZ để bớt latency của hop mạng mới; s…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…từ task hạ nguồn nên DAG lớn được ưu tiên); queue Celery và worker riêng cho tải cần môi trường hay tài nguyên khác. Có tài nguyên không chia được theo workload (throughput schedul…
- How we scaled async workload processing at GitLab.com using Sidekiq Bài tóm tắt · GitLab · 2020
…) xử lý việc nền bằng Sidekiq trên Redis. Lịch sử: 2013 mỗi worker class một queue, không ai quản; 2016 gom theo tính năng; 2017 lại mỗi worker class một queue, gom thành nhóm real…
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
…ạo bản ghi run bền, đẩy việc vào queue, trả về run ID ngay; worker làm việc; DB ghi tiến độ; client xem trạng thái, subscribe hay nhận callback. Bẫy: queue biết có một job, không b…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…hành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng nghìn instance. Mọi task trong batch có cùng "expected start time" để worker bắt đầu đồng loạt, gi…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…n pipeline trên Airflow (2020). Ngoài scheduler, webserver, worker, executor, họ có thêm tiến trình riêng: đồng bộ DAG từ GCS/git, đồng bộ biến Airflow tuỳ biến. Theo họ, càng nhiề…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…re CUDA graph; với model lớn mất vài phút, trong lúc đó các worker còn lại gánh traffic. - Hai lý do engine mới không bỏ qua được bước khởi tạo: (1) weight gắn với process (bộ nhớ…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…giây, ack từng message, dead letter queue, mỗi service một worker pool riêng, huỷ được job. - Hệ cũ: một cụm Resque trung tâm của monolith Rails, chạy trên một instance Redis : at…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- Why we rewrote WAL-G for Postgres backups in Rust: Meet WAL-RUS Bài tóm tắt · ClickHouse · 2026
…đổi chính - Viết WAL-RUS bằng Rust, không thêm tính năng : worker pool có giới hạn, kiểm soát concurrency; giữ kiến trúc daemon của WAL-G (kết nối object storage bền thay vì mỗi f…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
…ad pool thay vì tạo thread mỗi lần để giảm tranh CPU của GC worker. - Xử lý nhanh hơn tốc độ đọc (không thì direct memory đầy và OOM): viết lại hàm tìm trong ByteBuf đọc nhiều byte…
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies Bài tóm tắt · Instagram · 2011
…ã shard. - 6 máy Memcached. - Bất đồng bộ: Gearman với ~200 worker Python, dùng để chia sẻ sang Twitter/Facebook và để fan-out feed , nhờ vậy đăng ảnh nhanh như nhau với user nhiều…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…untime) thì bật trạng thái nguy cấp . Các đường fetch nặng (worker tìm task, poller đọc queue từ Redis, pipeline xuất log của khách) dừng trước lần fetch tiếp cho tới khi bộ nhớ xu…
- Load Testing Kubernetes: Building a Framework (Part 1) Bài tóm tắt · Achievers · 2023
…hông bị nghẽn bởi workload khác, chia virtual user ra nhiều worker. Mục tiêu dài hạn: chạy trong pipeline CI/CD. - Baseline: vài lần thử đầu dùng để trả lời "hôm nay chịu được bao…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Inngest Công ty Thành viên
Năm 2026 Inngest chuyển queue từ Valkey (trong RAM, đơn luồng) sang FoundationDB: làm phẳng mô hình từ ba cấp xuống hai, shard logic khoảng 20.000 account, dời account giữa shard, công bằng giữa tenant bằng scan có…
- DrP: Meta's Root Cause Analysis Platform at Scale Bài tóm tắt · Meta · 2025
…rt bắn nên người trực có kết quả ngay; backend có hàng đợi, worker pool, môi trường chạy chung hoặc cô lập. - Hậu xử lý: gắn kết quả vào alert, tự tạo task hoặc pull request khắc p…
- Building a Faster C# Driver for ScyllaDB…on our Self-Baked C#-Rust FFI Framework Bài tóm tắt · ScyllaDB · 2026
…ất nhanh bằng bản fork DataStax; với tải đồng thời cao (100 worker) nhanh gần gấp đôi và không xa mức của driver Rust gốc. Vì sao - Theo ScyllaDB: giao phần nặng (thực thi query, p…
- Goodbye Microservices: From 100s of problem children to 1 superstar Bài tóm tắt · Segment · 2018
…ải tiến thư viện chung. Một năm sau khi gộp: 46. - Một pool worker lớn hấp thụ được spike, hết bị gọi dậy vì destination nhỏ. Đánh đổi (Segment tự nêu) 1. Mất cô lập lỗi: một bug c…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- Maximum Warp: Building Migrations for Slack Enterprise Grid Bài tóm tắt · Slack · 2017
…không cần kỹ sư. - Chạy trên job queue () với queue và pool worker riêng để không ảnh hưởng job khác. Thêm job queue inspector : gắn tag cho task của từng migration, đếm việc còn l…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…letter bằng cấu hình (tên topic); retry pipeline gồm nhiều worker cùng hàm xử lý, khác topic nguồn, topic dead letter và độ trễ xử lý ; mỗi message có giới hạn thời gian (mặc định…