Making Your Feed More Relevant – Part I

LinkedIn · 2015 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

Feed LinkedIn trộn nhiều loại update: bài chia sẻ của kết nối, gợi ý việc làm, tin tức, gợi ý kết bạn (PYMK), quảng cáo. Phản hồi là hành vi ngầm (click, like, comment, share, thời gian xem); đồ thị kết nối và profile chất lượng cao là tín hiệu mạnh.

Kiến trúc ba tầng: nhiều First Pass Ranker (FPR), mỗi cái chấm điểm kho của mình và trả top-k; Second Pass Ranker (SPR) trong feed mixer gộp và chấm lại bằng logistic regression (feature của viewer, của update, điểm FPR); re-ranker chỉnh danh sách cuối để đa dạng.
FPR quan trọng nhất là "hoạt động từ mạng lưới của bạn", chiếm hơn 50% update (2015).
Ba lý do tách nhiều tầng: (1) quy mô: FPR phải lấy top-k thật nhanh từ index lớn, SPR chỉ chấm ít ứng viên nên dùng được feature đắt; (2) mỗi đội làm FPR riêng song song (quảng cáo khác việc làm); (3) một số thuộc tính cần nhìn cả danh sách (đa dạng), không chấm từng update riêng được.

Tách retrieval rẻ và ranking đắt thành tầng riêng vừa là quyết định hiệu năng vừa là quyết định tổ chức: mỗi nguồn ứng viên là ranh giới sở hữu của một đội.