Maximizing Our Publishing Platform Reach with Network Distribution

LinkedIn · 2014 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

Nền tảng viết bài của LinkedIn phân phối bài tới kết nối cấp 1 và người theo dõi (2014: tác giả trung bình có 1.049 kết nối cấp 1 và 42 follower). Ba kênh: feed, thông báo, email Pulse.

Feed: publishing service ghi một activity "member published" vào Activities Index trên Espresso. Khi có request, Feed-Mixer lấy activity từ Unified Social Content Platform (USCP) và update từ các first pass ranker khác, trộn theo relevance, độ mới, đa dạng.
Thông báo: tạo bất đồng bộ sau khi đăng, qua API Rest.li của hệ thông báo. Chỉ gửi cho kết nối mạnh (điểm connection strength từ service quản lý quan hệ kết nối), lọc người đã huỷ đăng ký, gộp các thông báo chưa đọc của cùng tác giả thành một.
Email Pulse: kết nối, follow và bài viết được ETL vào HDFS; job Hadoop hằng ngày/tuần tính mạng lưới của member và bài mới từ lần gửi trước.
Lọc spam: thư viện Unified Content Filtering trả điểm spam, khả năng là tin tuyển dụng; vượt ngưỡng thì không phân phối.

Một hành động ghi (đăng bài) toả ra nhiều kênh với độ trễ khác nhau: feed tính lúc đọc, thông báo bất đồng bộ có lọc, email bằng batch.