Tìm kiếm
34 kết quả cho “Airflow”. Tìm không phân biệt dấu.
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…trưởng · Độ khó: Dễ — [bài gốc](https://www.zillow.com/tech/airflow-at-zillow/) Bối cảnh - Team Data Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service t…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…Dễ — [bài gốc](https://blog.gojek.io/how-we-monitor-apache-airflow-in-production/) Bài hướng dẫn ngắn; giá trị ở danh sách những gì cần đo cho một nền tảng điều phối dữ liệu. Bối…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…ring.myshopify.com/blogs/engineering/lessons-learned-apache-airflow-scale) Bối cảnh - Shopify chạy Airflow production hơn hai năm (2022) cho trích xuất dữ liệu, huấn luyện model, b…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần cập nhật mỗi ngày (2025). Airflow chạy trên EC2 bằng Docker Comp…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…ata platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm EMR thì SSH vào master node và chạy lệnh. Cách này lan ra khắp nơi; tới 2024 có hơn 700 jo…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…p vào tầng RAW (cùng cấu trúc nguồn) bằng hàm bảng s3 , rồi Airflow chạy transform sang tầng MART cho Superset. Kết quả ghi vào bảng staging có tên riêng mỗi lượt chạy DAG rồi mới…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…iên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow nộp j…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ính - dbt cho batch reporting: cách dồn logic transform vào Airflow không scale khi thêm nguồn và metric phức tạp hơn (window function, so sánh chênh lệch, điều kiện từ bảng ngoài)…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…vào bằng hai đường: hệ nguồn đẩy khi có thay đổi, hoặc job Airflow kéo định kỳ. Mọi thay đổi được phát lên Kafka thành event (change log mức thấp cho indexer và audit, event ngữ n…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…t quả xuất sang RDS để phục vụ UI. Điều phối bằng Fireflow (Airflow + lớp service tích hợp EMR, S3, MySQL, Redshift). Theo dõi phân bổ realtime bằng Grafana. - Kết quả: chuỗi thời…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…trên S3, Spark trên EMR chuyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để trên RDS cho mọi cụm dùng chung. Mỗi data…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…nền tảng tính độ tươi ra sao. - Triage: alert của nền tảng (Airflow trễ, test lỗi, job chết) chưa phải DPI ; chỉ vi phạm hợp đồng mới thành DPI. Phân biệt một lần chạy test với sức…
- Twitter's Blobstore Hardware Lifecycle Monitoring and Reporting Service Bài tóm tắt · Twitter · 2023
…pet; xong thì chuyển sang managed và đưa vào data center. - Airflow quét máy chạy firmware/kernel cũ: tắt alert của máy, chuyển sang maintenance, nâng cấp, chuyển về managed, bật l…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Gojek Công ty Thành viên
Dịch vụ tìm tài xế của Gojek đi từ Postgres (không chịu được vị trí cập nhật liên tục) sang Redis, rồi khi GoFood và Logistics tăng trưởng thì phải scale ngang: đẩy đọc sang replica nhờ lệnh EVALRO họ đề xuất cho Redis,…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…cân nhắc Prefect, Dagster (cần hợp đồng trả phí mới đáng), Airflow (quá nặng cho 2 người và một project dbt). Chọn Render Workflows. - Sentinel thay cho đoán giờ: job Go nay ghi m…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
…ông cụ để các team chịu dùng: backfill tuple theo cấu hình (Airflow + Spark, chủ service chỉ khai báo cách dựng tuple từ bản export DB), sinh code Java/Scala, thick client có log,…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…a region. - Điều phối tập trung, xử lý theo region: giữ một Airflow ở US vì nó không đụng dữ liệu khách, chỉ gửi việc tới cụm EMR của đúng region. DAG lặp qua các region và sinh ta…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
Spotify chạy 20.000 pipeline batch mỗi ngày, định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo (Java): workflow là các task phụ thuộc đệ quy, đóng gói cả vào một image Docker,…
- Tinder Công ty Thành viên
Nhiều năm Tinder dùng một index Elasticsearch cho gợi ý; năm 2019 chia thành 40–100 geoshard cân theo load score trên S2 . Shard được hiện thực là nhiều index trong một cluster, chốt cỡ bằng performance test, và rải…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
…tập trung, tự động , xây trên các dịch vụ có sẵn (Dataflow, Airflow): ingest hơn 1.000 dataset chỉ bằng một file cấu hình . - Chuyển logic xử lý phức tạp từ Scalding sang Dataflow;…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB.