How LIquid Connects Everything So Our Members Can Do Anything

LinkedIn · 2023 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

LIquid (LinkedIn 2020) giữ Economic Graph: kết nối giữa member, trường, kỹ năng, công ty, vị trí, việc làm, sự kiện, nhóm. Năm 2023: 270 tỷ cạnh, 2 triệu query/giây, dự kiến gấp đôi trong 18 tháng; hơn 930 triệu member; 99,99% availability.
Mạng cấp 2 bùng nổ nhanh: 1.000 kết nối, 10 người trong đó có 1.000 kết nối là đã 100.000 người cấp 2.
People You May Know (PYMK) trước đây chạy trên hệ cũ GAIA; các bản sớm hơn tính offline, phạm vi hẹp, cập nhật định kỳ.

PYMK chuyển sang LIquid: query "đóng tam giác" trên Economic Graph sinh vài trăm ứng viên; tầng ranking thứ hai chấm điểm bằng feature ML từ Venice và số liệu phân tích từ Pinot; bước lọc chuẩn bị danh sách để hiển thị.
Một kết nối mới vài giây đã dùng được cho gợi ý. Query khai báo cho phép lý do giải thích được ("cùng công ty, cùng sự kiện, cùng kỹ năng").
A/B test bắt đầu trong vài giờ bằng cách đổi tham số query, thay vì vài tháng như thử nghiệm offline.
Thêm schema và dữ liệu mới trong khoảng hai tuần, trước đây mất nhiều tháng.
Lúc ra mắt chỉ đạt ngang chi phí phần cứng với GAIA, sau đó tối ưu tiếp.

PYMK: từ 120 lên 18.000 QPS, độ trễ từ hơn 1 s xuống dưới 50 ms trung bình, CPU giảm hơn 3 lần. Từ 2 query ban đầu lên thêm khoảng một chục query; Social Seeking Notification và Hiring In Your Network cũng dùng LIquid.

Theo LinkedIn, gợi ý tính offline thì cũ và hẹp; cần một hệ online mà chi phí không tăng theo cấp số khi số query và member tăng.

Kiến trúc đồng nhất (mọi dữ liệu như nhau) bắt đầu kém hiệu quả: hướng tới tiered storage và tối ưu theo workload.

Gợi ý dạng "bạn của bạn" có thể chuyển từ batch sang online nếu có index đồ thị đủ nhanh, và cái lợi lớn nhất là tốc độ thử nghiệm.