Tìm kiếm
39 kết quả cho “Job scheduler”. Tìm không phân biệt dấu.
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…om/airbnb-engineering/dynein-building-a-distributed-delayed-job-queueing-system-93ab10f05f99) Bối cảnh - Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc check-in trước nhiều tháng, th…
- Carving The Scheduler Out Of Our Orchestrator Bài tóm tắt · Fly.io · 2023
…ion cùng lúc) và giá license. - Scheduling bất đồng bộ: gửi job, các server đồng thuận, lên kế hoạch, thử lại tới khi được: ổn cho flyctl deploy , không dùng được để scale từ 0 khi…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…theo nhu cầu, vì chia sẻ hiệu quả hơn cấp tĩnh. Có hai loại job, giống tiến trình foreground/background của OS: interactive (task nhỏ, người dùng chờ kết quả ngay; cần latency thấp…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…ứ tự trong Kafka do producer chốt). - Mô hình dữ liệu: bảng jobs (payload trung vị 5 KB, tối đa 750 KB; khoá chính KSUID, chỉ một index) và bảng job state transitions , cả hai bất…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…partition riêng (khoảng 4.000 + 2.000 node). Hai tháng sau, job chờ hàng giờ mới được cấp dù cụm còn nhiều tài nguyên; tốc độ cấp container có lúc rơi từ khoảng 600 xuống 50/giây t…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…ility-for-spark-on-kubernetes) Bối cảnh - Notion chạy nhiều job Spark production, có job vài phút, có job hàng giờ trên hàng trăm worker. Spark chịu được mất một executor (retry ta…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…od runner có container runner và một Docker daemon sidecar, job chạy trong daemon đó. - Pipeline bận nhất (monorepo IaC) mỗi job chạy trong image 2,4 GiB (giải nén khoảng 8 GiB). M…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…thì về lại khoảng một giờ. Thêm 100 công cụ là hơn 100.000 job; chạy tuần tự thành khoảng 11 năm. Song song hoá không còn là lựa chọn, và đồ thị tính toán trở nên khó suy luận, dễ…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…g đổi code. - Workload khác hẳn công ty thông thường: - một job ML lớn chiếm trọn các node (GPU nói chuyện trực tiếp qua NVLink), nên ít tranh tài nguyên; - scheduler chịu tải theo…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…viết và mở mã nguồn. Thay đổi chính 4. Schedule and Forget (job định kỳ phải cuối cùng chạy xong): - ví dụ gia hạn subscription thanh toán: job scheduler gọi REST endpoint của serv…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service tự lên lịch riêng. Gặp Airflow năm 2016. Thay đổi chính - Cụm Airflow chạy trên Amazon ECS (container…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…tive và thời gian parse DAG; xu hướng dùng pool; trạng thái job, task của executor (running/queued/open slot), theo operator, theo task instance; thời gian của task và sensor quan…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…tốn hơn 15% ngân sách cloud của nhóm Data/AI cho hơn 13.000 job ; on-call của team thí nghiệm mất khoảng một nửa thời gian cho sự cố cụm (scale, deploy, cấp instance). Thay đổi chí…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…lời, đồng thời trả cho client và phát event sang Kafka; hai job Flink cập nhật index "hiện tại" và "lịch sử" trên Elasticsearch (best-effort, thứ tự theo bộ đếm version của message…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…ion qua orchestrator uWorc); Flink SQL/Spark SQL cho UDF và job lớn (hàng trăm người); API lập trình trên Flink/Spark cho ca phức tạp nhất. - Độ tin cậy và scale: định tuyến truy v…
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…à data plane: scheduler ở control plane của WarpStream giao job cho agent trong VPC của khách (lấy schema, lấy metadata, ghi schema vào object store của khách). Schema không bao gi…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…nt của đích. - Log Replayer: API server (web UI, trạng thái job trong DB), scheduler chia job thành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng ngh…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- 6 Lessons we learned when debugging a scaling problem on GitLab.com Bài tóm tắt · GitLab · 2019
…hàng báo lỗi git pull qua SSH chập chờn , chủ yếu từ CI và job tự động: ssh exchange identification: connection closed by remote host . Không tái hiện được, không thấy gì rõ trên…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…ý chủ sở hữu và policy chặn lúc nạp thay vì review tay từng job (). - Giới hạn đồng thời theo nhóm (pool) và tách worker là cách cô lập tải trong một hệ chung; cô lập thật sự cần t…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…phân tán: dịch vụ ingest ghi yêu cầu dựng vào kho metadata job; scheduler chia việc cho các node builder, node lỗi thì chạy lại chỗ khác; dữ liệu embedding được chia shard theo sh…
- Managing Software Dependency at Scale Bài tóm tắt · LinkedIn · 2018
…quét định kỳ bắt artifact bị sót. CI/CD chạy 20.000–30.000 job/ngày. - Kết quả: 12 API server, hơn 30 importer ở bốn region, tới 1 triệu query/ngày; báo nhầm phụ thuộc vòng giảm 6…