How We Built Infrastructure to Run User Forecasts at Spotify

Spotify · 2022 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

• Forecast số người dùng theo thị trường là một trong các chỉ số sức khoẻ kinh doanh được dùng nhiều nhất, khi Spotify mở rộng ra hơn 180 nước. Trước đó việc tune hyperparameter chạy trên một máy, mất vài tháng.

Thay đổi chính

• Q1–Q4 2020: dựng hạ tầng chạy forecast tự động mỗi tuần và theo yêu cầu, phần tune nặng chạy vào cuối tuần; tune từ vài tháng xuống vài giờ.
• Sau bước QA dữ liệu đầu vào, pipeline chia ba nhánh: thị trường trưởng thành (đủ lịch sử, mô hình time series, bỏ các gián đoạn một lần trước khi train); thị trường mới (ít dữ liệu: mô hình "proxy", phân cụm theo dữ liệu kinh tế vĩ mô và âm nhạc để tìm thị trường tương tự rồi học đường tăng trưởng của chúng, tức bài toán cold start); mô hình tuỳ chỉnh cho thị trường cần người can thiệp (phụ thuộc chiến dịch, thử model nghiên cứu, duyệt kết quả).
• Nhánh thị trường trưởng thành gồm các bước: tạo không gian tham số (lưu BigQuery) → gán nhãn train/test/validation → tune song song theo thị trường × lát cắt cross-validation × tổ hợp tham số (lúc đầu gọi thẳng Apache Beam, sau gói thành thư viện nội bộ) → chọn top model theo sai số có trọng số, kiểm trên holdout → chạy model tốt nhất → QC và công cụ cho người kinh doanh nhập thông tin tương lai (chiến dịch lớn quý sau) → tự sinh tóm tắt và biểu đồ cho cả công ty.
• Công cụ: Dataflow (Beam do Google quản lý) cho việc cần song song lớn; job Python đóng Docker chạy trên Kubernetes cho việc nhỏ.

Vì sao

• Kiểm soát chất lượng chặt ở lõi, lỏng ở rìa: logic lõi (cài đặt model) đóng thành thư viện Python có unit test, review chặt, tài liệu mỗi phiên bản; phần rìa (biểu đồ, email) và model thử nghiệm làm thành extension không chịu chuẩn đó. Tách lõi khỏi điều chỉnh lúc chạy và thí nghiệm, thêm integration test và biểu đồ để bắt bất thường theo góc nhìn kinh doanh.
• Theo Spotify, scale không phải lúc nào cũng là lời giải: chọn model hợp bài toán và thu hẹp không gian tham số nhờ nghiên cứu rẻ hơn vét cạn; song song hoá có overhead nên chỉ dùng khi cần.

Bài học cho SWE

• Ranh giới "lõi phải đúng / rìa được thử nhanh" là cách cân giữa chất lượng và tốc độ lặp cho cả pipeline dữ liệu.
• Hệ dự báo cần đường cho người can thiệp (thông tin model không thể biết) như một bước chính thức, không phải sửa tay ngoài hệ.
• Bài không nêu chi phí tính toán hay độ chính xác bằng số.

Liên quan

• Nền tảng ML (feature, training, serving, giám sát model) · Pipeline dữ liệu và analytics
• Cùng công ty: Spotify 2022 · Spotify 2022
• Cùng bài toán: Yelp 2026 · Lyft 2021