Tìm kiếm
9 kết quả cho “Kubernetes executor”. Tìm không phân biệt dấu.
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…notion.com/blog/balancing-cost-and-reliability-for-spark-on-kubernetes) Bối cảnh - Notion chạy nhiều job Spark production, có job vài phút, có job hàng giờ trên hàng trăm worker. S…
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
Data 360 của Salesforce chạy khoảng 8 triệu lần Spark mỗi ngày (2026), từ job ngắn tới job xử lý TB trong nhiều giờ. Hoá đơn compute tăng trong khi job vẫn thành công. Theo bài: thành công chỉ chứng minh cấu hình chạy…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…ecar cho DAG processor và cho worker Celery (sống lâu); với Kubernetes executor (worker tạm) thì dùng init container tải đúng DAG cần trước khi task chạy. - Lưu metadata deploy tro…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…el, bảo trì bảng Iceberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8. - Môi trường lớn nhất: hơn 10.000 DAG , trung bình hơn 400 task chạy cùng lúc , hơ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…đổi chính - Đường metric: mỗi tiến trình Airflow (trong pod Kubernetes) bật client statsd trong airflow.cfg , gửi UDP tới Telegraf ; tiến trình tự viết cũng phát heartbeat theo các…
- Shipyard: How We Built Slack's Next-Generation EC2 Platform Bài tóm tắt · Slack · 2026
…rkload, nhưng không phải tất cả (thành phần hạ tầng, worker Kubernetes, stack mạng egress). Thay đổi chính - Shipyard: instance là artifact deploy được, không phải thứ sửa mãi. Hỗ…