Tìm kiếm
40 kết quả cho “scheduler”. Tìm không phân biệt dấu.
- Carving The Scheduler Out Of Our Orchestrator Bài tóm tắt · Fly.io · 2023
…h · Độ khó: Khó — [bài gốc](https://fly.io/blog/carving-the-scheduler-out-of-our-orchestrator/) Bài viết giọng châm biếm, nhiều nhận định là quan điểm của Fly.io (ví dụ về Kubernet…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…//www.twosigma.com/articles/cook-a-fair-preemptive-resource-scheduler-for-compute-clusters/) Bối cảnh - Phần lớn tài nguyên compute của Two Sigma được cấp động cho ứng dụng theo nh…
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…ries ba phần của nhà cung cấp database: phần 1 (bài này, IO Scheduler) · phần 2 (XFS, read-modify-write) · phần 3 (checklist tổng kết). Các con số là của ScyllaDB trên phần cứng AW…
- Introducing Fly Kubernetes Bài tóm tắt · Fly.io · 2023
…ks/) Bài ra mắt sản phẩm (beta). Đọc cùng (vì sao Fly.io bỏ scheduler toàn cục). Bối cảnh - Fly.io chạy container dưới dạng microVM (Firecracker) trên máy tự đặt ở hàng chục region…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ngoài được khoảng 10%. - Định nghĩa lại công bằng: Capacity Scheduler ưu tiên queue dùng ít nhất; queue job ngắn churn nhanh (MapReduce của partition phụ) luôn trông "ít dùng" nên…
- Moving Velo to Multiple Container Sites: The Why, The How and The Lessons Learned Bài tóm tắt · Wix · 2021
…vụ nhưng chưa gắn với site nào. Request tới: Dispatcher hỏi Scheduler theo site id ; chưa có pod thì Scheduler chọn ngẫu nhiên một pod pooled, khoá nó cho site, ghi vào Pod Cache ;…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…ố là của ScyllaDB trên phần cứng của họ. Series: phần 1 (IO Scheduler) · phần 2 (XFS) · phần 3 (bài này). Bối cảnh - Hai phần trước của series tìm ra hai nguyên nhân làm instance l…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…ọng, API nội bộ hay timeout, tiến trình crash. - Kiến trúc: scheduler đẩy message vào Kafka → fan-out tới các checker (microservice Go, mỗi loại kiểm một thứ, mỗi loại một consumer…
- Kabootar — Swiggy's Communication Platform Bài tóm tắt · Swiggy · 2017
…chậm và đòi DB chịu truy vấn tuỳ ý trên bảng append-only. - Scheduler Samay tách riêng, dựa trên Quartz: đăng ký cron hoặc trigger một lần, báo qua queue/topic/webhook, có chế độ c…
- Inside the Go Playground Bài tóm tắt · Go · 2013
…DoS). Runtime riêng cho Playground giữ một đồng hồ nội bộ; scheduler sửa để khi mọi goroutine đều bị chặn (deadlock) mà còn timer chờ, đồng hồ nhảy tới timer sớm nhất và đánh thức…
- Selective Test Execution at Stripe: Fast CI for a 50M-line Ruby monorepo Bài tóm tắt · Stripe · 2026
…ác primitive được preload cho mọi test). - Selection index: scheduler của build (sidecar điều phối test trên worker) gom log, đảo thành bản đồ "file → các test cần chạy", lưu bằng…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
Segment nhận hàng trăm nghìn event mỗi giây và chuyển tới hàng trăm đích (Google Analytics, Salesforce, webhook của khách). Bất kỳ lúc nào cũng có vài chục đích đang hỏng: latency tăng 10 lần, 5xx, rate limit với từng…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…mạng một máy, một job xấu làm đứng phần lớn worker; Resque Scheduler giữ mọi job hẹn giờ trong Redis, huỷ job phải quét cả backlog. Thêm một hệ tự viết trên MySQL cho hẹn giờ dài,…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…của ARC ép bằng cách đặt spec.nodeName , pod như vậy bỏ qua scheduler , đi thẳng tới kubelet, và bị từ chối khi node đã đủ số pod. Lỗi đã có trong upstream từ 10/2023. - Cách cộng…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…log chung trên S3, NFS, Postgres, Delta Table). - Từ DAG do scheduler giữ sang điều phối trong process: kiểu truyền thống giao cả DAG cho Slurm; không hợp khi muốn một giai đoạn ch…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- Using Rust to Scale Elixir for 11 Million Concurrent Users Bài tóm tắt · Discord · 2019
…o tác dưới 1 ms nên không cần lo chuyện yield/reduction của scheduler BEAM. Phía Elixir gọi SortedSet như một module bình thường. Mã nguồn mở sorted set nif . Vì sao - Giữ logic re…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…ojek chạy hơn một nghìn pipeline trên Airflow (2020). Ngoài scheduler, webserver, worker, executor, họ có thêm tiến trình riêng: đồng bộ DAG từ GCS/git, đồng bộ biến Airflow tuỳ bi…
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…g ở region khác cho DR. - Tách control plane và data plane: scheduler ở control plane của WarpStream giao job cho agent trong VPC của khách (lấy schema, lấy metadata, ghi schema và…
- The WhatsApp Architecture Facebook Bought For $19 Billion Bài tóm tắt · WhatsApp · 2014
…2): tắc nghẽn đầu tiên ở 425K kết nối: CPU chỉ 35–45% nhưng scheduler bận 95% vì tranh chấp khoá trong VM. Sửa vòng một lên hơn 1 triệu, một tháng sau lên 2 triệu, đỉnh 2,8 triệu (…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…Log Replayer: API server (web UI, trạng thái job trong DB), scheduler chia job thành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng nghìn instance. Mọ…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Fixing Linux filesystem performance regressions Bài tóm tắt · LinkedIn · 2020
…ị. - Thử patch upstream cho blk-mq thì đỡ một phần; đổi I/O scheduler không ảnh hưởng. Nghi ext4 (đã biết hồi quy direct I/O từ 4.9), thử XFS thì hết lỗi . - Bisect kernel trên một…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…ói chuyện trực tiếp qua NVLink), nên ít tranh tài nguyên; - scheduler chịu tải theo đợt: một job tạo hàng trăm pod cùng lúc; - job MPI: một pod chết là cả job dừng và chạy lại từ c…