Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split

Zalando · 2026 · 3. Quy mô lớn · Độ khó: Nâng cao — bài gốc

Bối cảnh

Zalando Marketing Services (ZMS) bán quảng cáo sản phẩm ngay trên trang Zalando (retail media): nhà quảng cáo đấu giá vị trí, khách thấy kết quả, và cả hệ chạy trên một tài nguyên hữu hạn là ngân sách chiến dịch.
A/B test thông thường dựa trên giả định SUTVA: biến thể của người này không ảnh hưởng kết quả của người khác. Ở đây giả định gãy: nếu thuật toán đặt giá mới (treatment) thắng nhiều phiên hơn, nó tiêu nhanh chính ngân sách mà control cũng dùng, làm control yếu đi giả tạo. Zalando gọi đây là cannibalization bias: hiệu ứng đo được bị phóng đại.
Trước 2023 thí nghiệm "flaky" và phải chạy tuần tự, vì hai thí nghiệm cùng lúc sẽ tranh cả traffic lẫn ngân sách.

Budget Split: gán user vào treatment/control như thường, rồi chia mỗi chiến dịch tham gia thành các "sub-campaign" ảo theo đúng tỉ lệ traffic; user treatment chỉ kích hoạt bid từ ngân sách treatment, user control chỉ từ ngân sách control. Kết quả là hai thị trường độc lập chạy song song.
Orthogonal Concurrency: khi hai thí nghiệm A/B chạy cùng lúc, ngân sách mỗi chiến dịch chia thành 4 ô trực giao (1A2A, 1A2B, 1B2A, 1B2B), nên nhiều thí nghiệm chồng lên nhau mà không tranh ngân sách.
Giám sát phần vi phạm còn sót, vì cô lập tuyệt đối là bất khả: cơ chế tự điều chỉnh chiến dịch (dời ngân sách theo ngày, chỉnh max bid) dựa trên hiệu quả gộp của cả hai biến thể; model pCTR/pCVR huấn luyện lại hằng ngày trên 7 và 28 ngày dữ liệu nên vẫn ăn phân phối trước thí nghiệm; nhân viên vận hành quảng cáo chỉnh tay theo số tổng; chiến dịch kéo dài quá cửa sổ thí nghiệm gây right-censoring.
Khi không A/B được hoặc không bảo đảm cô lập, chuyển sang suy luận nhân quả phi thực nghiệm (phản thực).

Theo Zalando, số thí nghiệm tăng từ 8 (2023, chưa có Budget Split) lên hơn 60 (2025) có tính cô lập như trên; Budget Split là "điều kiện tiên quyết để tin" kết quả với PM, analyst, scientist.
Bài không nêu chi phí hạ tầng hay độ phức tạp khi chia ngân sách trong hệ đấu giá thật, và không có số đo độ lệch trước/sau.

Đơn vị gán ngẫu nhiên (user) khác đơn vị chia sẻ tài nguyên (ngân sách nhà quảng cáo) là dấu hiệu SUTVA sẽ gãy; cách sửa là chia luôn tài nguyên dùng chung theo biến thể, không chỉ chia user.
Chạy song song nhiều thí nghiệm cần trực giao hoá cả tài nguyên, không chỉ traffic.
Các vòng phản hồi tự động (auto-bidding, model huấn luyện lại, người vận hành) vẫn nối hai biến thể với nhau; liệt kê chúng ra như rủi ro đã biết.

Thử nghiệm A/B và nền tảng experimentation
Tinder 2019 (experiment family: loại trừ nhau thay vì trực giao) · Twitter 2022 (phản thực khi không A/B được) · Airbnb 2021