Tìm kiếm
25 kết quả cho “cluster scheduler”. Tìm không phân biệt dấu.
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…icles/cook-a-fair-preemptive-resource-scheduler-for-compute-clusters/) Bối cảnh - Phần lớn tài nguyên compute của Two Sigma được cấp động cho ứng dụng theo nhu cầu, vì chia sẻ hiệu…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ering.linkedin.com/blog/2021/scaling-linkedin-s-hadoop-yarn-cluster-beyond-10-000-nodes) Bối cảnh - Cụm Hadoop gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 2021. HDFS (một…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…unner sẽ sinh đúng một workflow pod). Hết OutOfPods , nhưng cluster autoscaler mô phỏng thấy node còn tài nguyên nên không scale , runner Pending chờ mãi. Ý định "workflow pod phải…
- Introducing Fly Kubernetes Bài tóm tắt · Fly.io · 2023
…ên chạy được trên một máy không có trạng thái phân tán. Mỗi cluster là K3s + Virtual Kubelet trên một Fly Machine ; không cần node cấp riêng, kube-proxy, CNI vì nền tảng đã lo. - N…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
Một cụm duy nhất 7.500 node, chọn vì hạ tầng đơn giản cho phép team nghiên cứu scale mà không đổi code.
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
Team Data Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service tự lên lịch riêng. Gặp Airflow năm 2016.
- Scaling Kubernetes to 2,500 nodes Bài tóm tắt · OpenAI · 2018
OpenAI chạy Kubernetes cho thí nghiệm deep learning hơn 2 năm (workload lớn nhất thì quản lý VM trực tiếp). Kubernetes cho vòng lặp nhanh, scale vừa đủ, ít boilerplate. Trên đường lên 2.500 node, lần lượt các thành phần…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…r treo khi buffer phân tán đầy; buffer phân tán lớn. - Meta-cluster: tự viết wandist (transport kiểu dist trên gen tcp, dạng mesh giữa các node cần nói chuyện) cộng lớp định tuyến…
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…và job hỏng hẳn. - Trước đó chạy trên EMR với EC2 cố định : cluster hay thừa, dùng ít, phải chỉnh theo từng job, tốn công bảo trì. Thay đổi chính - Bước 0, gom về một nền tảng: chu…
- Cloudflare Công ty Thành viên
Cloudflare bắt đầu bằng một cluster Postgres cfdb cho hầu hết control plane; từ 2017 các service dời dữ liệu ra dần. Đến 2022–2024 dữ liệu DNS (hàng tỷ record) được tách sang cluster riêng, sau khi mọi service đã đi qua…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…là một request GCS: nghẽn. Chuyển sang một NFS server trong cluster (read-write-many) cộng script đồng bộ từ GCS; người dùng vẫn chỉ đụng tới GCS; IAM giới hạn ai được upload (prod…
- Hybrid Core Allocation: From Overallocation to Reliable Sharing Bài tóm tắt · Uber · 2026
Odin là hệ điều phối container cho workload có trạng thái của Uber (database chạy trên đĩa local). Trước đó Odin đã chuyển sang cpuset: mỗi workload nhận trọn các core riêng, giảm throttling và độ trễ, nhưng phải cấp…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…downtime; mỗi shard nhân bản trên nhiều query node ở nhiều cluster để cân tải và chịu lỗi. - Cập nhật gần thời gian thực: sự kiện thêm/sửa/xoá listing đi qua pipeline NRT, gọi dịc…