Learning the language of home buying: Zillow's event-based foundational user behavior model

Zillow · 2026 · 3. Quy mô lớn · Độ khó: Khó — bài gốc

Bối cảnh

Hành trình mua nhà dài hàng tháng, không tuyến tính, tín hiệu mạnh (lưu, đặt lịch xem) hiếm còn tín hiệu yếu thì nhiều. Gợi ý dựa trên tóm tắt tĩnh (matrix factorization, embedding gộp, histogram thuộc tính) mất mạch câu chuyện và quan hệ giữa thuộc tính.
Zillow thử LLM frontier: theo Zillow, chúng hiểu kiến thức chung nhưng không nắm phân phối tồn kho địa phương (xác suất kết hợp giá và số phòng ở một thành phố), bịa tồn kho và giá, và không phân biệt được click gần đây với click vài tháng trước dù có feature thời gian.
Quy mô (2026): hơn 170 triệu nhà, trung bình 235 triệu người dùng/tháng.

Gom event theo listing trong mỗi session (một event mỗi nhà mỗi ngày), kèm cường độ tương tác.
Mô hình decoder-only transformer coi hành vi như ngôn ngữ, dự đoán event tiếp theo. Không dùng ID listing (thưa, không ổn định) mà token hoá thuộc tính (khoảng giá, diện tích, số phòng, đặc điểm; loại hành động, thời gian xem, khoảng cách thời gian) bằng tokenizer riêng, mỗi thuộc tính một token ("San Francisco" là một token), nên tổng quát cho listing mới.
Giao dịch đưa vào chuỗi như một event, không phải mục tiêu riêng. Hậu xử lý bằng PMI để bớt thiên lệch về thuộc tính phổ biến.
Đánh giá: bỏ mọi event trong 60 ngày trước offer rồi đo recall@K thuộc tính nhà cuối cùng mua; theo dõi cả độ mới và độ đa dạng (recall tăng có thể làm giảm khám phá). Rà soát cùng team Fair Housing và Ethical AI; mô hình không dùng cho quyết định đủ điều kiện nhà ở hay cho vay.
Inference: bản đầu trên CPU chạy forward đầy đủ cho từng thuộc tính, nhiều worker tranh lõi, gần 8 s/request. Sửa: mỗi worker một luồng tính, chỉ tính xác suất trên token hợp lệ, KV cache lịch sử người dùng (giảm hơn 80% xử lý khi dự đoán nhiều thuộc tính). Latency giảm 96%, còn khoảng 300 ms.

Mô hình chung train trên dữ liệu riêng của Zillow để thống nhất nhiều tác vụ cá nhân hoá (Nền tảng ML (feature, training, serving, giám sát model)); mang các kỹ thuật phục vụ LLM (KV cache, giới hạn từ vựng đầu ra) sang phục vụ mô hình hành vi trên CPU (Hạ tầng phục vụ LLM inference).

LLM tổng quát không thay được mô hình học trên phân phối dữ liệu riêng của bạn; đo trước khi chọn.
Token hoá thuộc tính thay ID để mô hình tổng quát cho item mới.
Contention luồng giữa nhiều process có thể là nút thắt lớn hơn bản thân mô hình.