Tìm kiếm
15 kết quả cho “dbt”. Tìm không phân biệt dấu.
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…Bối cảnh - Team dữ liệu của Render chỉ có 2 người . Họ nâng dbt-core từ 1.4 lên 1.11, thêm bảng incremental và kiến trúc nhiều lớp. - Một dataset quan trọng (dự báo hoá đơn trong t…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…c khi nâng cấp rộng trên ClickHouse Cloud. Thay đổi chính - dbt cho batch reporting: cách dồn logic transform vào Airflow không scale khi thêm nguồn và metric phức tạp hơn (window…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…nghìn pipeline khác, trên ba framework: BigQuery Runner và dbt (SQL), Scio (Scala). Hạn là 6 tháng; làm tay ước khoảng 10 tuần công kỹ sư. Thay đổi chính - Tìm phạm vi bằng lineag…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…lý hạ tầng sang dựng dataset tập trung sẵn cho phân tích. - dbt cho các biến đổi SQL nằm rải rác: version control, test chất lượng tự động. - Data as code: pipeline khai báo bằng T…
- Building a strong foundation to accelerate StreetEasy's data science efforts Bài tóm tắt · Zillow · 2024
…không ai ngoài team data tự làm được. Thay đổi chính - Dùng dbt biến đổi hàng trăm bảng thành vài chục certified dataset mỗi vài giờ, ví dụ bảng session có sẵn cột "Submitted"; tỉ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- GRIT: a Protocol for Distributed Transactions across Microservices Bài tóm tắt · eBay · 2019
…uyết định thứ tự tuần tự hoá giữa các giao dịch toàn cục; - DBTM/DBTL: quản lý và log giao dịch của từng DB; DBTM kiểm tra xung đột và ra quyết định commit cục bộ; - LogPlayer: áp…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…(Detail Data Store) chứa thực thể nghiệp vụ. Còn định thêm dbt và sửa quy ước đặt tên (đã không đầu tư từ đầu, giờ khó hiểu). Vì sao - Batch theo giờ + nạp lại toàn bộ khi có upda…
- Render Công ty Thành viên
Nền tảng PaaS sống sót sự cố AWS us-east-1 (10/2025) nhờ các quyết định nhiều năm: chỉ dùng dịch vụ AWS nền tảng, tự chạy Kubernetes với control plane ngoài us-east-1, và né us-east-1 cho hạ tầng lõi . Năm 2024 Render…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…ữ liệu, huấn luyện model, bảo trì bảng Iceberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8. - Môi trường lớn nhất: hơn 10.000 DAG , trung bình hơn 400 t…