Building a strong foundation to accelerate StreetEasy's data science efforts

Zillow · 2024 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

Dữ liệu event thô của StreetEasy là một bảng hàng tỷ dòng, hàng trăm cột. Tính một chỉ số đơn giản (tỉ lệ session có gửi yêu cầu xem nhà) cần biết nhiều chi tiết ngầm: giá trị nào là huỷ, desktop và iOS ghi cùng hành động bằng giá trị khác nhau.
Hệ quả: phân tích chậm (một câu hỏi A/B mất vài giờ đến vài ngày), cùng một KPI ra số khác nhau, gần như không ai ngoài team data tự làm được.

Dùng dbt biến đổi hàng trăm bảng thành vài chục certified dataset mỗi vài giờ, ví dụ bảng session có sẵn cột "Submitted"; tỉ lệ gửi là trung bình một cột.
Certified: định nghĩa metric do nhóm liên chức năng thống nhất, có test tự động, có tài liệu từng trường.
Một biến thể bảng session gắn sẵn thí nghiệm và nhánh, nên đọc kết quả A/B chỉ cần group by; dashboard nhập tên test là ra metric chuẩn và kiểm định ý nghĩa thống kê.
Prototype mô hình dự đoán lead thành giao dịch trong chưa tới một ngày nhờ dataset sẵn.
Self-serve theo ba hướng: dashboard certified cho khoảng 80% câu hỏi lặp lại; "80-20 analytics" (dùng proxy để trả lời nhanh phần lớn câu hỏi mới); đào tạo stakeholder biết SQL.

Biến đổi một lần ở tầng chung rẻ hơn và nhất quán hơn để mỗi analyst tự biến đổi mỗi lần query (Pipeline dữ liệu và analytics); A/B nhanh hơn khi exposure đã nằm sẵn trong bảng session (Thử nghiệm A/B và nền tảng experimentation).

Định nghĩa metric một lần, có test, có tài liệu; đó là tiền đề của mọi dashboard và thí nghiệm.
Không có công cụ nào cho mọi người tự trả lời mọi câu hỏi; tự động hoá phần lặp lại, giữ chuyên gia cho phần mới.