Tìm kiếm
22 kết quả cho “Data orchestration”. Tìm không phân biệt dấu.
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…tps://engineering.atspotify.com/2022/03/why-we-switched-our-data-orchestration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, c…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…://render.com/blog/how-render-workflows-powers-our-internal-data-pipeline) Bài dùng sản phẩm của chính Render (Workflows, lúc đó đang beta). Phần kiến trúc pipeline vẫn có giá trị…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…chuỗi cung ứng); on-prem + tràn sang cloud lúc đỉnh (vướng data gravity : chuyển hay nhân bản hàng trăm PB chậm và đắt; bản sao trễ hoặc hỏng cho kết quả khác; môi trường lệch nha…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…để thêm tính năng và độ ổn định. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…s://www.zillow.com/tech/airflow-at-zillow/) Bối cảnh - Team Data Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service tự lên lịch riêng. Gặp Airflow năm 20…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu…
- How Deterministic Controls Turn AI Output Into Reliable Prompt Templates Bài tóm tắt · Salesforce · 2026
…ữ liệu của org, merge field và cú pháp Jinja, chọn input và data provider, và giữ kết quả hợp lệ theo schema; theo bài, admin có kinh nghiệm mất ít nhất 25 phút. - Assistive Author…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…au) → tự sinh tóm tắt và biểu đồ cho cả công ty. - Công cụ: Dataflow (Beam do Google quản lý) cho việc cần song song lớn; job Python đóng Docker chạy trên Kubernetes cho việc nhỏ.…
- Netflix Conductor: A microservices orchestrator Bài tóm tắt · Netflix · 2016
…ược điều phối tuỳ biến: pub/sub, gọi REST trực tiếp, và một database giữ trạng thái. Khi số service và độ phức tạp tăng thì không còn nhìn thấy quy trình. Thay đổi chính - Bỏ chore…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
…nằm trong API đó, nên rất dễ quản lý. - Khi tách sang SOA (data service bọc DB, presentation service ghép dữ liệu từ nhiều data service), kiểm tra quyền ban đầu được dời lên prese…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…ian lận, hỗ trợ) cần feature tính theo hai cách: batch trên data warehouse Hive (ví dụ lịch sử huỷ chuyến một năm của user) và stream từ Kafka (ví dụ giá ước tính cho chuyến hiện t…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…hàm: loại step định nghĩa bằng schema input/output (step ra dataset nối với step cần dataset, step ra model nối với step cần model), và orchestrator kiểm schema giữa các step , nên…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…mình. Dữ liệu train từ warehouse (Hive, Presto, Spark); metadata model ở RDS Aurora; image ở ECR; dữ liệu tạm trên EFS gắn làm volume cho mỗi người. - Lúc viết: hàng chục team, hàn…
- Migrating Large-Scale Interactive Compute Workloads to Kubernetes Without Disruption Bài tóm tắt · Uber · 2025
…rge-scale-compute-workloads-to-kubernetes/) Bối cảnh - DSW (Data Science Workbench): nền tảng notebook (Jupyter, RStudio) cho data scientist, ML engineer. Mỗi phiên là một containe…
- From 48k lines of code to 10: the story of GitHub's JavaScript SDK Bài tóm tắt · GitHub · 2020
@octokit/rest khởi đầu là package cộng đồng github (commit đầu 6/2010, thời Node v0.1). Năm 2017 GitHub nhận nó làm SDK chính thức cho REST API, chạy cả Node lẫn trình duyệt; lúc đó khoảng 16.000 dòng, lõi là…
- From Fragile to Agile: Automating the fight against Flaky Tests Bài tóm tắt · Reddit · 2024
…sát → Nhận diện → Sửa → Đánh giá: - Quan sát: Test Metrics Database ghi mỗi lần chạy của mỗi test (class, case, giờ bắt đầu, trạng thái, branch, commit SHA), parse từ .xcresult và…