Search Journey Towards Better Experimentation Practices
Bài tóm tắt Spotify 2022 3. Quy mô lớn Độ khó: Dễ
Spotify · 2022 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc
Bài về thực hành và tổ chức quanh nền tảng thí nghiệm (do một data scientist của nhóm Search viết), không mô tả kiến trúc nền tảng. Nền tảng mới của Spotify được nhắc tới qua các bài 2020–2021 chưa ingest.
Bối cảnh
- Spotify đầu tư khoảng hai năm (2020–2021) vào nền tảng thí nghiệm mới; theo bài, nền tảng đã đủ tính năng và tiến nhanh hơn tốc độ các team áp dụng.
- Nhóm Search gồm nhiều team engineering, PM, một nhóm data scientist; team engineering phải tự chạy thí nghiệm, không chờ data scientist.
Thay đổi chính
- Lộ trình ba bước:
- Chất lượng từng thí nghiệm: giả thuyết, metric, quy tắc quyết định đặt trước khi chạy; template đặc tả test và thiết lập test với tham số Search điền sẵn; quy ước đặt tên; ghi lại quyết định sau khi kết thúc.
- Chất lượng giữa các thí nghiệm: nhiều thí nghiệm chồng lên nhau, một số phải loại trừ nhau (một user không ở hai thí nghiệm); template chọn sẵn hành vi điều phối; hướng dẫn để không cạn user khả dụng.
- Đo tổng tác động: holdback theo quý: giữ một nhóm user không nhận mọi thay đổi trong quý, cuối quý chạy một thí nghiệm giữa "không đổi gì" và "mọi thay đổi đã ship", cho ước lượng không chệch của tổng hiệu ứng (thay vì cộng hiệu ứng từng thí nghiệm).
- Mốc 2021: 12/2020 đưa metric riêng của Search vào nền tảng (mở khoá tính cỡ mẫu, trang kết quả); 1/2021 diễn đàn hằng tuần; 3/2021 template chuẩn; 6/2021 thí nghiệm cộng dồn cuối quý; 8/2021 chương trình "champion" mỗi team một người; 9/2021 quy ước tên, và cam kết ship mọi thay đổi sản phẩm theo kiểu dần dần có giám sát; 10/2021 thiết kế thí nghiệm bắt buộc có giả thuyết, metric, quy tắc quyết định.
Vì sao
- Theo tác giả: biết thực hành tốt thì dễ (có hàng trăm bài viết), biến nó thành thói quen thì khó; lúc đầu phải làm giúp team (thiết lập, review test) để họ thấy công sức vừa phải và giá trị rõ, rồi chuyển dần sang người trong team.
- Cách nhanh nhất để đo được tổng tác động của cả một chương trình sản phẩm là xây từ dưới lên bằng thực hành tốt trong từng team.
Bài học cho SWE
- Nền tảng tốt chưa đủ: template và mặc định điền sẵn là cách nhân rộng thực hành (giống "mặc định do nền tảng sinh" ở Mô hình tổ chức SRE).
- Tổng của các hiệu ứng thí nghiệm không phải tổng tác động; holdback dài hạn đo được phần cộng dồn và tương tác.
Liên quan
Được nhắc tới trong
Chủ đề (1)
Công ty (1)
Bài tóm tắt (3)