Tìm kiếm
29 kết quả cho “Build scheduler”. Tìm không phân biệt dấu.
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Building a High-Throughput Metrics System Using Open Source Software Bài tóm tắt · Two Sigma · 2019
…· Độ khó: Dễ — [bài gốc](https://www.twosigma.com/articles/building-a-high-throughput-metrics-system-using-open-source-software/) Bối cảnh - Two Sigma xây nền tảng cho "nghiên cứu…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Selective Test Execution at Stripe: Fast CI for a 50M-line Ruby monorepo Bài tóm tắt · Stripe · 2026
…test unit (2026). Chạy tuần tự hết một lần mất bốn tháng ; build chạy trên một dàn worker song song khổng lồ, khoảng 50.000 build mỗi tuần , và tăng thêm khi AI làm tốc độ commit…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…nh — [bài gốc](https://medium.com/airbnb-engineering/dynein-building-a-distributed-delayed-job-queueing-system-93ab10f05f99) Bối cảnh - Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…Docker Compose, dự định chuyển sang EKS. - Cách deploy cũ: build DAG vào image Airflow trong CI/CD, gần 20 phút mỗi lần, mỗi thay đổi của bất kỳ team nào kích hoạt rebuild toàn bộ…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…n vùng); hỗ trợ L2, inner product, cosine, Hamming. - Index builder phân tán: dịch vụ ingest ghi yêu cầu dựng vào kho metadata job; scheduler chia việc cho các node builder, node l…
- Inside the Go Playground Bài tóm tắt · Go · 2013
…thật. - File system và mạng giả cài ở tầng syscall cho bản build NaCl: file system trong bộ nhớ, mạng giả trong process, để ví dụ về file và mạng chạy được mà không chạm vào máy t…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
Giữa 2020, gần 200 triệu người dùng unique mỗi tháng. Các team dùng gần một chục công cụ thí nghiệm mua hoặc tự viết, mỗi cái giải một phần: có nơi gán bucket tốt nhưng PM chờ data scientist hàng tuần để có scorecard;…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
Mercari tự chạy runner GitHub Actions bằng Actions Runner Controller (ARC) trên GKE, runner tạm (ephemeral), chế độ Docker-in-Docker: mỗi pod runner có container runner và một Docker daemon sidecar, job chạy trong…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Managing Software Dependency at Scale Bài tóm tắt · LinkedIn · 2018
…từ công cụ khác (CocoaPods, npm/Yarn), phân biệt phụ thuộc build, test, runtime; API Rest.li. - Bỏ graph DB, chuyển sang Espresso: đồ thị của một product ở một version, khi đã tạo…
- How We Verify Custom Hardware Bài tóm tắt · Hudson River Trading · 2021
…ns và nền tảng khác): tìm hồi quy, thử seed ngẫu nhiên mới, build, chạy test trong lab, deploy; chạy công cụ EDA trên nền tảng vốn cho phần mềm có khó nhưng theo HRT là đáng. Vì sa…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Fixing Linux filesystem performance regressions Bài tóm tắt · LinkedIn · 2020
…ắt trong config kernel của vendor; scheduler multi-queue bị build thành module nên không có lúc đĩa HDD đăng ký, kernel rơi về noop . - Kết luận của LinkedIn: ext4 trên kernel trên…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- How we built a secure, performant, multi-tenant cloud platform to run untrusted code Bài tóm tắt · Deno · 2024
…lớn · Độ khó: Trung bình — [bài gốc](https://deno.com/blog/build-secure-performant-cloud-platform) Bài giới thiệu kiến trúc kèm quảng bá Deno Subhosting; ít số liệu, phần bảo mật…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…Presto SQL mặc định (hàng nghìn người dùng, soạn trong QueryBuilder, chạy production qua orchestrator uWorc); Flink SQL/Spark SQL cho UDF và job lớn (hàng trăm người); API lập trìn…
- Journey to the cloud part II: Migrating Stack Overflow for Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…Patcher, Ansible và Puppet. App thì không bake vào ảnh, vì build ảnh mất vài giờ còn deploy app mất vài phút. - Production có 4 VM 32 nhân, 128 GB RAM (nhiều RAM vì cache và TagSe…
- ADMIRE: A Product-Driven Approach to Automating Migrations Bài tóm tắt · Two Sigma · 2021
Đội Platform Engineering của Two Sigma chắc chắn phải làm migration (đổi DC, đổi container scheduler, đổi cloud), và phần lớn migration cần team khác làm việc; team nào cũng than "chẳng phải vừa xong đợt trước sao".
- Taming architecture complexity in V8 — the CodeStubAssembler Bài tóm tắt · V8 (Google) · 2017
…gedIsSmi , LoadStringLength ). - CSA kiểm kiểu ở mức IR lúc build (không thể dùng con trỏ object làm đầu vào phép nhân 32-bit), tự cấp phát thanh ghi và spill, hiểu cả ABI C++ lẫn…