Tìm kiếm
40 kết quả cho “worker process”. Tìm không phân biệt dấu.
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
…nh gốc ghi lên S3, lỗi vào hàng đợi lỗi. - Image Processor (worker Beanstalk, Python PIL): làm sạch ảnh (bỏ viền màu đơn), render trước một bộ kích thước chuẩn lên S3; báo thành cô…
- HRTWorker: A SharedWorker Framework Bài tóm tắt · Hudson River Trading · 2025
…h — [bài gốc](https://www.hudsonrivertrading.com/hrtbeat/hrtworker-a-sharedworker-framework/) Bối cảnh - Đội Fullstack của HRT xây bộ web app nội bộ "Ops GUIs" cho đội Run The Day…
- How we scaled async workload processing at GitLab.com using Sidekiq Bài tóm tắt · GitLab · 2020
…) xử lý việc nền bằng Sidekiq trên Redis. Lịch sử: 2013 mỗi worker class một queue, không ai quản; 2016 gom theo tính năng; 2017 lại mỗi worker class một queue, gom thành nhóm real…
- Maxjourney: Pushing Discord's Limits with a Million+ Online Users in a Single Server Bài tóm tắt · Discord · 2023
…g chục giây, nên chỉ gửi phần thành viên relay cần. - ETS + worker process : danh sách thành viên để trong ETS (bảng bộ nhớ dùng chung giữa process), heap guild chỉ giữ tập thay đổ…
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
…n còn vài phút để lập lịch container mới, tải image, làm ấm worker, nên mỗi service tự chạy đủ container để chịu 2 lần traffic , mỗi container dùng đúng khoảng 50% tài nguyên được…
- Migrating 300+ namespaces from self-hosted Temporal to Temporal Cloud Bài tóm tắt · Coinbase · 2026
…, chờ drain thành kế hoạch nhiều tuần. - Chiến lược 2, dual workers (trading, thanh toán, workflow dài): không chuyển workflow đang chạy. Worker poll cả hai cụm ; chọn cụm là quyết…
- Netflix Conductor: A microservices orchestrator Bài tóm tắt · Netflix · 2016
…p xong". - Workflow khai báo bằng JSON DSL có version (task worker và task điều khiển: fork, join, decision, sub-workflow); task definition giữ timeout, số lần retry, kiểu retry, c…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…hành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng nghìn instance. Mọi task trong batch có cùng "expected start time" để worker bắt đầu đồng loạt, gi…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…nguyên, đỡ trùng message khi xáo vị trí); gán workload vào worker là dính , chỉ đổi khi vi phạm kích thước hoặc worker không qua liveness; nhiều workload nhỏ xếp chung một worker.…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…letter bằng cấu hình (tên topic); retry pipeline gồm nhiều worker cùng hàm xử lý, khác topic nguồn, topic dead letter và độ trễ xử lý ; mỗi message có giới hạn thời gian (mặc định…
- Code caching for JavaScript developers Bài tóm tắt · V8 (Google) · 2019
Parse + compile JavaScript chiếm phần đáng kể thời gian khởi động trang. Code cache lưu kết quả (bytecode) để lần sau bỏ qua bước đó.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…re CUDA graph; với model lớn mất vài phút, trong lúc đó các worker còn lại gánh traffic. - Hai lý do engine mới không bỏ qua được bước khởi tạo: (1) weight gắn với process (bộ nhớ…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…i cảnh - Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes mất vài phút; trong lúc đó GPU đã cấp nhưng không sinh token, và hệ không kịp hấp thụ đỉnh tải. -…
- Quora's Distributed Cron Architecture Bài tóm tắt · Quora · 2013
…iểm bắt đầu và kết thúc lần cuối, máy và process đang chạy. Worker "giữ chỗ" job bằng cách cập nhật nguyên tử thời điểm bắt đầu; job chỉ giữ được nếu lần bắt đầu cuối trước đầu chu…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…untime) thì bật trạng thái nguy cấp . Các đường fetch nặng (worker tìm task, poller đọc queue từ Redis, pipeline xuất log của khách) dừng trước lần fetch tiếp cho tới khi bộ nhớ xu…
- Dismissing Python Garbage Collection at Instagram Bài tóm tắt · Instagram · 2017
…y uWSGI ở chế độ pre-fork: process master fork ra hàng chục worker để chia sẻ bộ nhớ theo copy-on-write (CoW). Worker bị restart khi RSS vượt ngưỡng để tránh OOM. - Quan sát: ngay…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…- Song song hoá: gen server một luồng → gen factory (nhiều worker) → gen industry (nhiều tiến trình dispatch) khi chính tiến trình dispatch thành nút thắt do fan-in từ nhiều node.…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Why we rewrote WAL-G for Postgres backups in Rust: Meet WAL-RUS Bài tóm tắt · ClickHouse · 2026
…đổi chính - Viết WAL-RUS bằng Rust, không thêm tính năng : worker pool có giới hạn, kiểm soát concurrency; giữ kiến trúc daemon của WAL-G (kết nối object storage bền thay vì mỗi f…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
…lifecycle, repository hook, audit log...) có queue và fleet worker riêng, deploy riêng, nên burst của pipeline này không có đường làm chậm pipeline kia. Tiêu chí tách là đặc tính v…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…anifest thì xoá. Chạy dạng sidecar cho DAG processor và cho worker Celery (sống lâu); với Kubernetes executor (worker tạm) thì dùng init container tải đúng DAG cần trước khi task c…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…á chính, phủ lên base, bỏ dòng có thao tác cuối là delete). Worker merge ( MERGE của Snowflake) khi delta vượt ngưỡng tuổi hoặc dung lượng, hoặc ngay khi đổi schema. Tách việc dữ l…
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
…NFS phá vỡ việc quy kết: lưu lượng hiện ra là của root qua worker kernel xprtiod . Hook vfs read thì đếm thừa vì cache; cuối cùng phải trace các hàm NFS cấp thấp thật sự fetch dữ…