Next Best Action platform: democratizing personalization with contextual bandits

Zillow · 2024 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

Team sản phẩm và marketing chọn thông điệp, CTA bằng luật tay và A/B test tuần tự, rồi áp người thắng cho tất cả. Theo Zillow: thông điệp thắng với 60% khách bỏ quên 40% còn lại; mỗi vòng thử mất vài tuần tới vài tháng; thử biến thể mới có thể làm giảm engagement; luật và mô hình tĩnh lỗi thời khi nhu cầu đổi.

Next Best Action (NBA): nền tảng cá nhân hoá dùng contextual bandit. Base model là gradient-boosted trees ước lượng phần thưởng theo ngữ cảnh người dùng và hành động; khám phá bằng epsilon-greedy; train lại hằng ngày trên cửa sổ trượt vài ngày gần nhất.
Cold start: khởi tạo phân phối đều hoặc prior, không cần đợt thu thập ngẫu nhiên riêng; trên ô "Reason to Believe" của trang chủ, bản cold start đạt ngang bản khởi động từ mô hình train sẵn sau 5 ngày.
Thêm hành động mới bất kỳ lúc nào: mô phỏng offline cho thấy hành động kém không làm giảm tổng click, hành động tốt thì được khai thác.
"Vô lăng" kinh doanh: đổi trọng số phần thưởng của từng hành động lúc chạy; bucket có phần thưởng theo giá trị kinh doanh hội tụ trong 3 ngày.
Hạ tầng: batch xử lý dữ liệu, train, tính sẵn quyết định và đẩy vào online storage; service online chỉ tra cứu; thư viện chuẩn hoá log phản hồi và phần thưởng từ hệ client.
Bước tiếp: quyết định realtime theo ngữ cảnh phiên, đo tác động không cần A/B, taxonomy để nhiều use case không chồng chéo trên cùng điểm chạm.

Bandit thay vòng A/B tuần tự khi mục tiêu là tối ưu liên tục, không phải kết luận nhân quả một lần (Thử nghiệm A/B và nền tảng experimentation); làm thành nền tảng để team không có người ML cũng dùng được (Nền tảng ML (feature, training, serving, giám sát model)).

Khám phá phá vòng phản hồi của hệ gợi ý: không khám phá thì mô hình chỉ thấy dữ liệu do chính nó chọn.
Tính sẵn quyết định theo batch là bản đầu rẻ; realtime để sau khi đã chứng minh giá trị.
Bỏ A/B test vẫn cần một cách đo ROI thay thế.