Image replacement in Canva designs using reverse image search

Canva · 2025 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

Khi một hợp đồng thư viện ảnh bên thứ ba hết hạn, mọi template dùng ảnh đó phải thay bằng ảnh tương tự, an toàn về bản quyền; làm tay rất tốn công.
Yêu cầu: tìm ảnh giống trong hơn 150 triệu ảnh, cập nhật theo thư viện, lọc theo metadata (tỉ lệ khung hình phải khớp), tái dùng được cho việc khác.

Xét tái dùng trước khi xây: hệ gợi ý (xếp theo độ phổ biến và ngữ cảnh, không theo độ giống), hệ perceptual hash có sẵn (tìm ảnh trùng, mà ảnh trùng lại chính là thứ cần bỏ), search văn bản theo metadata (không bắt được màu, số chủ thể, cảm xúc), ảnh sinh bằng AI (không chắc an toàn bản quyền). Không cái nào dùng được, nên xây image-to-image search.
Chọn embedding: 5 model, 50.000 ảnh trong Faiss in-memory, 200 ảnh mẫu × 3 láng giềng gần nhất, kỹ sư và designer chấm tay theo thứ bậc giống (chủ thể > màu, tông > bố cục, nền, cảm xúc). Chọn DINOv2; cách "GPT-4o mô tả ảnh rồi search bằng CLIP" kém nhất.
Vector DB bên ngoài thay vì in-memory: in-memory với 150 triệu ảnh cần một máy RAM rất lớn, đổi máy khi thư viện lớn lên; vector DB ngoài cập nhật realtime, lọc theo field, rẻ hơn. Dùng dịch vụ bên thứ ba thay vì tự xây vì thời gian và chi phí.
Kết quả: tốt với ảnh chụp, yếu với ảnh có chữ, ký hiệu, hoạt hoạ. Gắn vào công cụ của designer template, 8 gợi ý, người duyệt trước khi xuất bản lại; pilot nhanh hơn 4,5 lần so với search thường (theo Canva). Hướng tiếp: nhận diện chữ/ký hiệu rồi lưu thành metadata để lọc.

Độ giống thị giác không được metadata văn bản biểu diễn; còn hai hệ có sẵn tối ưu cho mục tiêu khác (phổ biến, trùng lặp).

Liệt kê các hệ sẵn có và lý do từng cái không hợp trước khi xây hệ mới; "trùng" và "giống" là hai bài toán khác nhau.
Đánh giá embedding bằng người trên mẫu nhỏ in-memory là bước rẻ trước khi chọn hạ tầng.
Ở quy mô trăm triệu vector và dữ liệu đổi liên tục, kho vector có lọc metadata thắng index in-memory về vận hành; người duyệt ở cuối bù cho chỗ model yếu.