Tìm kiếm
9 kết quả cho “Job scheduling”. Tìm không phân biệt dấu.
- Quora's Distributed Cron Architecture Bài tóm tắt · Quora · 2013
…út, 5 phút, giờ, ngày, tuần) có một script chạy tuần tự mọi job của tần suất đó, tất cả trên một máy . - Theo Quora, cách này không tin cậy cũng không scale: đẩy máy quá sức thì jo…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…g đổi code. - Workload khác hẳn công ty thông thường: - một job ML lớn chiếm trọn các node (GPU nói chuyện trực tiếp qua NVLink), nên ít tranh tài nguyên; - scheduler chịu tải theo…
- Building a lower-latency GC Bài tóm tắt · Jane Street · 2015
…minor GC: chạy riêng từng loại, vào lúc nào cũng được. Một job ở tầng ứng dụng định kỳ đoán xem hệ có rảnh không rồi tự lên lịch GC (minor chỉ khi minor heap đã lớn hơn ngưỡng để…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…Pipeline cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item thường xuyên r…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…ý chủ sở hữu và policy chặn lúc nạp thay vì review tay từng job (). - Giới hạn đồng thời theo nhóm (pool) và tách worker là cách cô lập tải trong một hệ chung; cô lập thật sự cần t…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…partition riêng (khoảng 4.000 + 2.000 node). Hai tháng sau, job chờ hàng giờ mới được cấp dù cụm còn nhiều tài nguyên; tốc độ cấp container có lúc rơi từ khoảng 600 xuống 50/giây t…
- Carving The Scheduler Out Of Our Orchestrator Bài tóm tắt · Fly.io · 2023
…ion cùng lúc) và giá license. - Scheduling bất đồng bộ: gửi job, các server đồng thuận, lên kế hoạch, thử lại tới khi được: ổn cho flyctl deploy , không dùng được để scale từ 0 khi…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…ion qua orchestrator uWorc); Flink SQL/Spark SQL cho UDF và job lớn (hàng trăm người); API lập trình trên Flink/Spark cho ca phức tạp nhất. - Độ tin cậy và scale: định tuyến truy v…