Tìm kiếm
40 kết quả cho “DAG”. Tìm không phân biệt dấu.
- Dagger Công ty Thành viên
Nguồn duy nhất của Dagger (công cụ CI) trong wiki (2024): runner CI cho chính repo của họ được sinh theo từng phiên bản engine bằng Argo CD, node do Karpenter bật theo hàng đợi, mỗi node một engine dùng chung cache cho…
- On-Demand Dagger Engines with Argo CD, EKS, and Karpenter Bài tóm tắt · Dagger · 2024
…4 · 2. Tăng trưởng · Độ khó: Trung bình — [bài gốc](https://dagger.io/blog/argo-cd-kubernetes) Bài của nhà cung cấp, nửa hướng dẫn; mô tả cách chính Dagger chạy CI cho repo dagger/…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…Celery executor, MySQL 8. - Môi trường lớn nhất: hơn 10.000 DAG , trung bình hơn 400 task chạy cùng lúc , hơn 150.000 lượt chạy mỗi ngày ; người dùng tự upload DAG vào môi trường d…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần cập nhật mỗi ngày (2025). Airflow chạy trên EC2 bằng Docker Compose, dự định chuyển sang E…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…ver, worker, executor, họ có thêm tiến trình riêng: đồng bộ DAG từ GCS/git, đồng bộ biến Airflow tuỳ biến. Theo họ, càng nhiều thành phần thì càng dễ hỏng. Thay đổi chính - Đường m…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…bbitMQ (chọn thay Redis/SQS vì ổn định, chống mất dữ liệu), DAG/plugin/log trên S3, email qua SES, log về Splunk. - Airflow chỉ chạy job nhỏ; job nặng (Spark, Hive) đẩy sang EMR qu…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…ược ở local, trong Jupyter hay ở production. - Lớp thực thi DAG: đọc phụ thuộc khai báo giữa các step, dựng DAG, chạy theo thứ tự topo, truyền output step trước làm input step sau,…
- How AI Agents Halved the Effort of Migrating 500 Gradle Modules from Koin to Hilt Bài tóm tắt · Allegro · 2026
…adle, cách này không scale. Thay đổi chính - Đổi sang Hilt (Dagger): đồ thị phụ thuộc sinh thành code Kotlin lúc build; lúc chạy chỉ thực thi code đã sinh. Lợi phụ: thiếu module ha…
- A Lightweight Distributed Architecture to Handle Thousands of Library Releases at eBay Bài tóm tắt · eBay · 2022
…p theo dependency: một service trung tâm đọc pom.xml , dựng DAG phụ thuộc giữa các thư viện; các nút release được song song thì cùng mức ưu tiên, lá release trước, cha release sau,…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…tore để trên RDS cho mọi cụm dùng chung. Mỗi dataset một SubDAG; tối đa 4 dataset chạy cùng lúc và hai dataset lớn không bao giờ chạy cùng nhau (pool 1 slot). Cấu hình bằng YAML. Đ…
- An open-source spec for Codex orchestration: Symphony Bài tóm tắt · OpenAI · 2026
Sáu tháng trước bài này, một team ở OpenAI quyết định repo của một công cụ nội bộ không có dòng code nào do người viết, mọi thứ do Codex sinh ra; họ dựng repo thân thiện với agent, đầu tư mạnh vào test tự động và…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…et. Kết quả ghi vào bảng staging có tên riêng mỗi lượt chạy DAG rồi mới chèn vào bảng đích, để dùng lại phần tăng mà không quét lại bảng đích. - Idempotent: hầu hết bảng dùng Repli…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…(7:26, 10:01) nhưng cùng một mốc giờ logic để join. - Tách DAG khổng lồ: lúc đầu chỉ có một job "hourly load" làm hết; khi thêm nguồn và mô hình, job chạy quá lâu và một lỗi làm h…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…ột catalog chung trên S3, NFS, Postgres, Delta Table). - Từ DAG do scheduler giữ sang điều phối trong process: kiểu truyền thống giao cả DAG cho Slurm; không hợp khi muốn một giai…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- eBay Công ty Thành viên
Hai bài về nhất quán và độ bền ở eBay: protocol GRIT (2019) cho giao dịch ACID xuyên microservice và nhiều DB bằng OCC + log + áp bất đồng bộ ; và các phương án chạy Kafka đa region khi event phải đúng thứ tự (2020),…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…ng task, truyền dữ liệu nhỏ giữa task. Đã cân nhắc Prefect, Dagster (cần hợp đồng trả phí mới đáng), Airflow (quá nặng cho 2 người và một project dbt). Chọn Render Workflows. - Sen…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ration là một pha nguyên khối chặn cả ranking lẫn hiển thị; DAG có phụ thuộc giả (bước chờ output mà nó không cần). Theo Uber, các nút thắt vô hình cho tới khi đo đúng độ phân giải…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…(vài phút tới vài ngày) chạy trên Helix Task Framework dạng DAG. - Quota: cấu hình qua Nuage, thư viện thực thi chạy trong router/app server, cache quota, nhận cập nhật tức thì qua…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…hay đổi chính - Chọn Presto (Facebook vừa mở mã): kiến trúc DAG dạng streaming hợp với kiểu khám phá rời rạc; connector thân thiện Hadoop nên cắm được file system S3 (một tháng làm…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…ng dữ liệu khách, chỉ gửi việc tới cụm EMR của đúng region. DAG lặp qua các region và sinh task theo region. - Event logging: - client gửi header workspace ID, worker Cloudflare đị…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…nh liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow n…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…ong pha này) → migrate hàng loạt nhiều team song song → dọn DAG sót, khai tử operator SSH. Migrate theo loại operator , từng operator một; dev → GovDev/CommDev → prod; dashboard ti…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…S3 và Redshift), tổng hợp/thống kê. Hơn 80 job Spark trong DAG; riêng khối gán thí nghiệm tăng từ 2 lên 25 job vì phải hỗ trợ pre-auth/post-auth và loại bot (bản đầu không có). -…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…ần hiểu dữ liệu tiến hoá thế nào theo thời gian và lineage (DAG phụ thuộc thay đổi ra sao). Bài học cho SWE - Áp dụng nguyên tắc phần mềm (version, test, CI/CD, tái lập) cho dữ liệ…