How We Built A Context-Specific Bidding System for Etsy Ads

Etsy · 2021 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Phần lớn bài là model (dự đoán tỉ lệ mua sau click); wiki giữ phần hệ thống: từ batch hằng ngày sang dự đoán online, và cái khó của A/B test khi mọi biến thể dùng chung ngân sách.

Bối cảnh

• Etsy Ads là đấu giá second-price thời gian thực; năm 2019 mọi seller được chuyển sang giá thầu tự động. Bộ đặt giá cũ tĩnh: ước lượng tỉ lệ mua sau click (PC-CVR) cho mỗi listing một lần mỗi ngày, nên đặt cùng giá lúc cuối tuần cao điểm và lúc 4 giờ sáng thứ Ba.

Thay đổi chính

• Contextual bidding: mỗi request search quảng cáo, hệ lấy top N listing khớp, dự đoán PC-CVR theo ngữ cảnh (giờ, ngày, nền tảng, loại trang, độ liên quan với query), nhân giá trị đơn hàng kỳ vọng ra giá thầu. Click được đưa ngược làm dữ liệu train.
• Bản đầu lên production dùng GBDT, sau đó là mạng nơ-ron ba tầng (embedding cho id shop, word embedding cho query/tiêu đề).
• Đánh giá offline bằng PR AUC (dữ liệu rất lệch, không downsample) rồi mới A/B test online. GBDT so với hệ cũ (2021, theo Etsy): CTR +6,19%, tỉ lệ mua +3,08%, ROAS +7,02%.
• Điểm PC-CVR lệch phải và đuôi dài nên không dùng trực tiếp làm giá; làm mượt bằng hàm logistic có hai tham số chỉnh sao cho giá thầu trung bình không đổi so với hệ cũ, trần 2 USD mỗi click.
• Hệ chuyển từ dự đoán batch mỗi ngày sang dự đoán online tới 12.000 lần mỗi giây.

Vì sao

• Seller không tự chỉnh giá theo giờ; chỉ hệ thống có thông tin ngữ cảnh lúc request mới đặt giá theo giá trị thật của từng lượt hiển thị.

Bài học cho SWE

• Đổi từ điểm tính sẵn mỗi ngày sang tính lúc request là đổi hẳn loại hạ tầng (serving online, latency, scale), không chỉ đổi model.
• Khi thay một hệ định giá, giữ một bất biến tổng (giá trung bình) giúp tách hiệu ứng của model khỏi hiệu ứng đổi mặt bằng giá.
• A/B test trên hệ có tiền thật và ngân sách dùng chung không cô lập được hoàn toàn các biến thể (theo Etsy); đây là dạng thí nghiệm có hiệu ứng mạng.

Liên quan

• Nền tảng ML (feature, training, serving, giám sát model) · Thử nghiệm A/B và nền tảng experimentation
• Cùng bài toán ngân sách chung trong thí nghiệm: Zalando 2026