Measuring the impact of Twitter network latency with CausalImpact

Twitter · 2022 · 3. Quy mô lớn · Độ khó: Khó — bài gốc

blog.x.com chặn crawler; đọc qua trình duyệt, ghi chú bằng lời của wiki. Phần mô hình thống kê (BSTS) được tóm tắt ngắn; lõi giữ lại là cách đo tác động của một thay đổi hạ tầng không thể chia ngẫu nhiên.

Bối cảnh

• Để giảm latency, Twitter làm thí nghiệm đổi edge mặc định sang edge của cloud công cộng ở một số nước, vì cloud công cộng phủ địa lý rộng hơn ở vài vùng (2022). Do cấu hình mạng, không chia ngẫu nhiên người dùng được: cả nước cùng đổi. Câu hỏi: thay đổi đó tác động thế nào tới doanh thu và mức tương tác?

Thay đổi chính

• Mô hình: dùng gói CausalImpact của Google (Bayesian structural time series) để dựng phản thực (giá trị nếu không đổi) cho nước được đổi, dùng chuỗi thời gian của các nước khác làm biến đồng biến. Chọn mô hình đơn giản nhất (chỉ biến đồng biến trễ) để tránh overfit, so bằng sai số tích luỹ trên giai đoạn trước can thiệp.
• Thiết kế thí nghiệm trước: tránh mùa lễ; chọn nước theo số người dùng, latency nền và tỉ lệ request đi qua edge mặc định; theo dõi latency nước láng giềng (tràn ảnh hưởng); chạy ít nhất hai tháng vì doanh thu phản ứng trễ; chốt danh sách metric từ đầu để không chọn lọc dữ liệu sau.
• Xác nhận rollout trước khi phân tích: nếu latency không thay đổi đáng kể thì dừng. Dùng thời gian làm mới nội dung ở p95 và p50 (request phổ biến, dữ liệu sẵn, giống metric mà traffic map dùng để định tuyến); chú ý nhóm chậm nhất vì họ được lợi nhiều nhất. Kiểm tra metric phải ổn định (tỉ lệ thành công, lượng request, tỉ lệ đi qua edge mặc định).
• Nhiễu ngoài: hơn một năm dữ liệu lịch sử nhưng chỉ khoảng một tháng sau can thiệp vì chiến tranh Ukraine làm nhiễu; có nước gặp suy giảm mạng làm latency quay về mức cũ. Họ thử dùng chính lúc suy giảm như một "thí nghiệm ngược" (không thể cố ý làm chậm người dùng), nhưng giai đoạn trước quá ngắn.
• Kiểm tra độ vững: A/A test, residual và autocorrelation; khi kết quả ngược trực giác thì thêm metric nhạy hơn, xem tác động tuyệt đối (nhóm quá nhỏ), đổi khoảng thời gian, tìm cú sốc ngoài.

Vì sao

• Thay đổi hạ tầng mạng (vị trí edge) thường không A/B test được theo người dùng; vẫn đo được tác động nghiệp vụ nếu dựng phản thực từ các vùng không đổi và xác nhận rằng thay đổi kỹ thuật thật sự xảy ra trước (Độ tin cậy và multi-region, Observability và monitoring).

Bài học cho SWE

• Trước khi đo tác động nghiệp vụ, kiểm tra metric kỹ thuật (latency p95) đã thật sự đổi.
• Chốt metric và thời gian quan sát trước khi chạy.
• Nhóm người dùng chậm nhất là nơi thay đổi hạ tầng có tác động lớn nhất; nhìn p95 chứ không chỉ trung vị.

Liên quan

• Thử nghiệm A/B và nền tảng experimentation
• Twitter 2023 · Twitter 2023 · Wix 2021 (đưa nội dung tới gần người dùng)
• Độ tin cậy và multi-region · Observability và monitoring