Anomaly Detection at Zillow Using Luminaire

Zillow · 2021 · 3. Quy mô lớn · Độ khó: Khó — bài gốc

Bối cảnh

Zestimate, gợi ý, model CV xử lý lượng dữ liệu lớn qua nhiều pipeline, mỗi chỗ là một điểm có thể hỏng. Theo Zillow, công cụ phát hiện bất thường có sẵn hoặc không bền trên nhiều dạng dữ liệu, hoặc cần chuyên môn mô hình; tinh chỉnh tay cho từng metric không scale; các team đang làm trùng nhau.

Luminaire: nền tảng phát hiện bất thường tập trung cho chuỗi thời gian, onboarding gần như không cần cấu hình; thư viện mô hình mã nguồn mở.
Pipeline train: gom dữ liệu thành chuỗi (ví dụ traffic theo giờ), điền giá trị thiếu (cả các điểm từng bị coi là bất thường, để không học từ chúng), phát hiện change point để cắt dữ liệu trước điểm đổi phân bố, khử tính không dừng, log transform khi cần.
Hai họ mô hình: structural (lag AR/MA, các tần số Fourier nổi bật cho mùa vụ, ngày lễ) cho chuỗi có tín hiệu; lọc Kalman đo độ bất định cho chuỗi gần như không có tín hiệu.
Tự chọn cấu hình (loại mô hình, có cắt theo change point không, có log không, bao nhiêu thành phần Fourier); chỉ chạy lại khi có chuỗi mới hoặc dữ liệu đổi mạnh.
Model lưu trong Postgres kèm ngày tạo và hạn dùng (dữ liệu không dừng nên model cũ dự đoán sai); scoring lấy model mới nhất, ghi kết quả; dịch vụ alert áp ngưỡng do stakeholder đặt.
Tự giám sát: theo dõi Mass-Volume, Excess-Mass, lỗi train, độ tươi của model, tỉ lệ điểm bất thường (ví dụ phải dưới 5% trong cửa sổ trượt); vi phạm thì tự chỉnh lại cấu hình.

Một nền tảng chung với mô hình tự cấu hình thay vì mỗi team tự viết luật ngưỡng (Observability và monitoring, Nền tảng ML (feature, training, serving, giám sát model)); dùng chính cho chất lượng dữ liệu của pipeline (Pipeline dữ liệu và analytics).

Model phát hiện bất thường cũng cần giám sát: báo quá nhiều gây mệt mỏi, quá ít thì bỏ sót.
Model cho dữ liệu chuỗi thời gian cần hạn dùng và lịch train lại.
Đừng để dữ liệu bất thường cũ lọt vào tập train.