Tìm kiếm
22 kết quả cho “task DAG”. Tìm không phân biệt dấu.
- An open-source spec for Codex orchestration: Symphony Bài tóm tắt · OpenAI · 2026
…r; mỗi issue đang mở ứng với một workspace agent riêng; mỗi task đang hoạt động luôn có một agent chạy tới khi xong; agent sập hay kẹt thì Symphony khởi động lại. Trạng thái ticket…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…- Môi trường lớn nhất: hơn 10.000 DAG , trung bình hơn 400 task chạy cùng lúc , hơn 150.000 lượt chạy mỗi ngày ; người dùng tự upload DAG vào môi trường dùng chung. Thay đổi chính…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…muốn; họ viết template statsd cho Telegraf để tách tên DAG, task… thành tag (ví dụ dag duration , dagrun schedule delay , dag loading-duration ). - Danh sách nên giám sát: health c…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…ker tạm) thì dùng init container tải đúng DAG cần trước khi task chạy. - Lưu metadata deploy trong file trên S3 thay vì một database, để đơn giản. Kết quả (theo Doximity) - Độ trễ…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…thi. - Workflow dài (vài phút tới vài ngày) chạy trên Helix Task Framework dạng DAG. - Quota: cấu hình qua Nuage, thư viện thực thi chạy trong router/app server, cache quota, nhận…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…c lỗi (thay vì chạy lại cả pipeline) là lý do chính để tách task trong orchestrator. - Khi dời kho dữ liệu, cho người dùng bảng có giao diện giống cũ. Liên quan - · · · - · ·…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…u phối có: chờ việc bên ngoài xong, rẽ nhánh, chạy lại từng task, truyền dữ liệu nhỏ giữa task. Đã cân nhắc Prefect, Dagster (cần hợp đồng trả phí mới đáng), Airflow (quá nặng cho…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…iệp vụ tăng nhanh hơn số nguồn; khi logic nằm rải trong các task của bộ điều phối thì thêm nguồn là thêm phụ thuộc chéo. Công cụ chuyên cho transform (dbt) tách "khi nào chạy" (Air…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…oud hoặc pool thread/process local. Scheduler chỉ thấy từng task; quyết định vị trí chuyển từ "cụm nào chạy cả pipeline" sang "cụm nào chạy node này". Vì sao - Kết quả theo Optiver…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…Không dùng đĩa (không HDFS). Hầu hết job nghẽn CPU; bộ nhớ task đặt cao (7 GB, chấp nhận rủi ro nhỏ quá cấp) cho join lớn. - Phân vai: user vào Presto trước để có câu trả lời nhan…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…tới cụm EMR của đúng region. DAG lặp qua các region và sinh task theo region. - Event logging: - client gửi header workspace ID, worker Cloudflare định tuyến tới đúng region; - ser…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…theo logic nghiệp vụ đúng). Kết quả (theo Slack) - Phần lớn task Airflow nhanh hơn 30–60% , có job tới 90% (đo bằng cột duration trong DB metadata của Airflow). - AQE: tự xử lý joi…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…prod; dashboard tiến độ bằng cách query DB của Airflow tìm task còn dùng SSH. - Con số: hơn 700 job, 7 loại operator, 8 data region độc lập (yêu cầu chủ quyền dữ liệu), 5 team, kh…