Designing AI-Driven User Memory for Personalization

Zillow · 2025 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

Người tìm nhà đổi ý theo tuần: xem condo ở Seattle, ba tuần sau lưu townhouse ở bang khác. Hệ cá nhân hoá tĩnh không theo kịp.

"User memory" gồm nhiều lớp:

Preference profile: xác suất người dùng thích từng giá trị (khoảng giá, số phòng ngủ, ZIP, loại nhà), làm feature cho mô hình gợi ý.
Trọng số theo độ gần: decay theo thời gian, chỉnh được để tạo cả profile ngắn hạn lẫn dài hạn, hiện dùng song song ở các bề mặt khác nhau.
Ràng buộc: khả năng chi trả (mô hình quantile), độ rộng dung sai giá.
Embedding cho sở thích khó mô tả bằng thuộc tính (kiểu tường, loại cây).
Lịch sử tương tác thô có timestamp cho tính năng cần lặp lại chính xác (nhà vừa xem).

Hạ tầng hai lớp:

Batch hằng ngày cho profile dài hạn (sở thích dài hạn đổi chậm, dùng được thuật toán phức tạp hơn).
Gần realtime: ingest xem, lưu, tìm, đổi bộ lọc và cập nhật trạng thái trong vài giây qua bảng Online Data Platform, mô hình nhẹ trong phiên, trigger theo sự kiện.
Hai đường xử lý riêng nhưng cùng logic mô hình với tham số khác, và được tiêu thụ cùng lúc ở hệ phía sau. Tuân thủ CCPA và tuỳ chọn dữ liệu của người dùng.

Sở thích dài hạn và tín hiệu ngắn hạn có tốc độ đổi khác nhau nên hợp với hai đường batch và streaming (Stream processing); gộp lại thành một "bộ nhớ" phục vụ nhiều bề mặt cá nhân hoá (Nền tảng ML (feature, training, serving, giám sát model)).

Chọn độ trễ xử lý theo tốc độ thay đổi của tín hiệu, không theo mốt.
Giữ cả dữ liệu thô lẫn tóm tắt: tóm tắt cho mô hình, dữ liệu thô cho tính năng cần chính xác.