Deploying Large-scale Fraud Detection Machine Learning Models at PayPal

PayPal · 2021 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bài đầu của một series về nền tảng shadow cho model; các phần sau (meta-learning, feature store, hub model) chưa có trong wiki.

Bối cảnh

• Risk platform là môi trường ML production lớn nhất của PayPal, chống gian lận theo thời gian thực. Vì yêu cầu quản lý (quan trọng, chính xác, công bằng), model và feature phụ thuộc phải đi qua CI/CD và được thử ở môi trường shadow trước khi lên production.
• Trước nền tảng này: model và feature đóng chung vào build image theo lịch phát hành cố định, lỡ một đợt thì chờ đợt sau, thường vài tuần; nhiều bước tay giữa các team, release engineer phải hiểu cả nền tảng lẫn quy trình nghiệp vụ; model lên production có khi lệch điểm hoặc lệch dữ liệu so với lúc train, chạy lỗi hoặc quá SLA real-time, khi đó cả pool live phải rollback và model quay lại từ đầu vòng đời; model mới có thể mất vài tháng mới dùng được.

Thay đổi chính

• Quokka, nền tảng shadow kèm CI/CD cho model, ba phần:
  • UI/API tự phục vụ: người làm model tự đưa model từ model store vào, chọn lịch deploy; có lịch đặt chỗ môi trường shadow cho từng thành viên với thời lượng cấu hình được; cấu hình lấy mẫu traffic từ production cho từng checkpoint (điểm ra quyết định rủi ro trên hành trình khách hàng).
  • Pipeline CI/CD tự động đóng artifact cùng stack production và deploy tới máy production, báo trạng thái định kỳ.
  • Audit pool (SHADOW): cụm máy chạy song song với production, nhận traffic lấy mẫu được định tuyến từ pool production, cùng dữ liệu ngữ cảnh, cùng DB production, nhưng không tham gia ra quyết định: điểm chỉ được ghi lại. Từ đó đọc ra P99 thời gian chạy model, thời gian nạp dữ liệu, phân phối điểm.
• Hai chế độ: Test (đóng gói, deploy, audit lặp lại) và Release; model đã audit và đạt SLA thì "tốt nghiệp" lên production bằng chính pipeline đó. Shadow cũng chạy song song nhiều phiên bản của cùng một model để so sánh theo thời gian.
• Stack: Node.js/React phía trước, Python/Java ở giữa, Hadoop/BigQuery, Aerospike cache, ONNX, TensorFlow, MLflow.
• Kết quả, theo PayPal: số PR của các team data science tăng 50% mỗi quý; thời gian phát triển và deploy model giảm 80%; không còn rollback hệ thống do model chạy lỗi; năng suất gấp 3; hỗ trợ vận hành từ 8x5 lên 24x7 mà không thêm người.

Vì sao

• Với gian lận, phân phối dữ liệu đổi theo vùng, thiết bị, thời gian, và nhãn đúng (có phải gian lận) chín chậm; nên cần so sánh các phiên bản model trên traffic thật theo thời gian, việc mà kiểm offline không làm được.

Bài học cho SWE

• Tách artifact hay thay đổi (model, feature) khỏi lịch phát hành của code nền thì không còn phải chờ "chuyến tàu" kế tiếp.
• Shadow trên traffic thật (đọc cùng dữ liệu, không ghi quyết định) bắt được lỗi hiệu năng và lệch dữ liệu mà môi trường thử không có.
• Cổng lên production nên là cùng một pipeline với lúc thử, chỉ đổi chế độ, để thứ được kiểm chính là thứ được phát hành.

Liên quan

• Nền tảng ML (feature, training, serving, giám sát model) · Deploy và release an toàn
• Cùng công ty: PayPal 2021
• Cùng bài toán: DoorDash 2021 (shadow model trong prediction service) · Reddit 2021