Retail Graph — Walmart's Product Knowledge Graph

Walmart · 2020 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

Catalog thương mại điện tử lấy dữ liệu từ seller và nhà cung cấp; dữ liệu hay thiếu, đôi khi sai, và không có một nguồn sự thật duy nhất. Thông tin hữu ích nằm lẫn trong tiêu đề và mô tả.

Đồ thị hai phía sản phẩm ↔ thực thể (khái niệm cụ thể như thuộc tính, trừu tượng như "hợp cho trẻ em"), bắt đầu từ taxonomy sẵn có; thêm quan hệ sản phẩm ↔ sản phẩm (thay thế, bổ sung).
Trích thực thể bằng hai cách chạy song song ở production: model NLP (POS tag, độ phủ tốt) và luật đọc định dạng HTML của seller (chính xác). Liên kết thực thể dựa trên từ điển dựng từ SKU bán chạy. Lớp governance: người duyệt các bộ ba có độ tin cậy dưới ngưỡng; lọc nhiễu bằng heuristic + model.
Sản phẩm thay thế: embedding văn bản và ảnh trong FAISS, KNN ra ứng viên, rồi xếp hạng theo logic từng danh mục.
Kiến trúc "tiến hoá được" vì lúc đầu không biết hệ cuối sẽ thế nào: trích và liên kết là thư viện, đóng thành REST API và Hive UDF để chạy hàng trăm triệu sản phẩm trên Hadoop on-prem; hai pipeline định kỳ rồi nạp hàng loạt vào Cosmos DB trên Azure. So mô hình đồ thị LPG và RDF, chọn LPG.
Làm từng danh mục một (bắt đầu từ Home & Garden), A/B test với đội gợi ý; đội search ngữ nghĩa đang thử dùng đồ thị cho hiểu query.

Dữ liệu đối tác không đáng tin nên cần cả luật lẫn model lẫn người duyệt; quy mô catalog buộc chạy batch trên cụm sẵn có rồi đẩy kết quả sang kho đồ thị để phục vụ.

Khi chưa rõ hình dạng cuối, dựng thành phần như thư viện có nhiều cách gọi (API, UDF batch) để đổi cách triển khai mà không viết lại.
Tính toán nặng ở batch, phục vụ từ một kho đồ thị riêng được nạp hàng loạt.
Mở rộng theo từng danh mục giúp đo được giá trị sớm.