Treating Data as Code at Two Sigma

Two Sigma · 2025 · 4. Điều chỉnh · Độ khó: Dễ — bài gốc

Bài tổng quan, ít chi tiết kỹ thuật cụ thể (không có số liệu, không có kiến trúc). Mọi nhận định ghi "theo Two Sigma".

Bối cảnh

Two Sigma dựa vào hàng nghìn nguồn dữ liệu. Khi một số nền tảng giao dịch scale, data scientist phải chờ lâu mới có dataset mới; dữ liệu nguồn ngoài hay đổi schema bất ngờ, giao trễ, lỗi chất lượng lan xuống dưới.
Cách cũ dựa vào snapshot database để tái tạo và di chuyển dữ liệu, gây nút cổ chai và tốn công bảo trì; hạ tầng phân mảnh.

Chuyển sang BigQuery: bỏ hạ tầng phân mảnh, scale tự động; trọng tâm chuyển từ quản lý hạ tầng sang dựng dataset tập trung sẵn cho phân tích.
dbt cho các biến đổi SQL nằm rải rác: version control, test chất lượng tự động.
Data as code: pipeline khai báo bằng Terraform; version cả dataset lẫn hạ tầng xử lý để replay được; CI/CD; nền tảng chất lượng dữ liệu chạy kiểm tra và sinh luôn chỉ số độ phủ kiểm tra.
Công cụ nội bộ: giám sát chất lượng tự động (phát hiện bất thường thống kê trước khi ảnh hưởng người dùng), khám phá và tài liệu hoá dataset, điều phối workflow tính toán phức tạp.
Hướng tiếp theo: data contract giữa đội dữ liệu và bên dùng để chặn thay đổi phá vỡ; LLM hỗ trợ chuẩn bị dữ liệu và tài liệu.

Theo Two Sigma, câu hỏi cũ "dữ liệu có tới không, có đúng giờ không" không còn đủ khi dataset được làm giàu, biến đổi và dùng bởi nhiều người; cần hiểu dữ liệu tiến hoá thế nào theo thời gian và lineage (DAG phụ thuộc thay đổi ra sao).

Áp dụng nguyên tắc phần mềm (version, test, CI/CD, tái lập) cho dữ liệu; version cả dữ liệu lẫn code biến đổi để chạy lại được một kết quả cũ, điều đặc biệt cần cho nghiên cứu.
Snapshot DB không phải cách phân phối dữ liệu scale được.