From shallow to deep learning in fraud

Lyft · 2018 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bài kể từ góc nhìn một research scientist của đội Fraud; các ý về tổ chức là "theo tác giả".

Bối cảnh

Hệ quyết định gian lận ban đầu được xây cho luật nghiệp vụ dễ đọc; model chỉ là "phần mở rộng của luật": hệ số logistic regression được chép tay vào code. Bug đầu tiên tác giả sửa là một feature tính khác nhau giữa prototype offline và production.
Mô hình làm việc "ném qua tường": scientist dừng ở prototype feature + model, kỹ sư viết lại để chạy production.

Khi kẻ gian tinh vi hơn, khó thiết kế feature cho logistic regression; đội chuyển sang GBDT (XGBoost). Không thể chép tay hàng nghìn cây, nên cần cách serialize model từ notebook và nạp vào production một cách tin cậy; đổi lại mất bớt khả năng giải thích, bù bằng feature importance riêng cho cây.
Sau đó dùng model TensorFlow cho tín hiệu dạng chuỗi (lịch sử giao dịch, chuyến, hoạt động) mà cây xử lý kém.
Vấn đề còn lại: phiên bản package giữa môi trường dev và production lệch nhau, nên khó nâng cấp "decision service nguyên khối"; đang chuyển sang chạy model trong container.
Trong hai năm, tách decision service nguyên khối (nhận và tiền xử lý feature, giải tuần tự và chạy model, thử thách chống gian lận) sang các hệ dùng chung cho nhiều đội (ví dụ Dryft cho feature).
Tổ chức: scientist hiểu hệ thống tham gia thiết kế hạ tầng (ví dụ thiết kế lại holdback), kỹ sư thôi viết lại feature thủ công để làm nền tảng.

Model mạnh hơn không đưa vào được khi hạ tầng giả định model là vài hệ số; chính hạ tầng phục vụ là giới hạn của độ phức tạp model.

Chép model bằng tay vào code là nguồn lệch train/serve; đường đi từ notebook tới production phải là artifact được serialize và có phiên bản.
Một service nguyên khối gom feature, model và hành động làm mọi thay đổi phụ thuộc nhau; tách thành các nền tảng dùng chung là bước tự nhiên khi số model tăng.