Using open-source models for faster and cheaper text embeddings

Replicate · 2023 · 2. Tăng trưởng · Độ khó: Dễ — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

Hướng dẫn chạy model embedding bge-large-en-v1.5 (BAAI) trên Replicate. Theo bài, tại tháng 10/2023 model này xếp trên embedding OpenAI trên bảng xếp hạng MTEB. Phần có giá trị kỹ thuật là phép so chi phí.

Đo đạc: bộ thử 10.000 dòng, mỗi dòng 512 token (tối đa của model), tổng 5.120.000 token, batch_size=64, một prediction chạy nền trên A40 Large; thời gian lấy từ predict_time (chỉ gồm thời gian chạy model). Kết quả: khoảng 152 giây.
Giá: Replicate tính theo giây phần cứng (0,000725 đô mỗi giây): khoảng 0,11 đô. OpenAI Ada v2 tính 0,0001 đô mỗi 1.000 token: khoảng 0,51 đô. Theo bài, rẻ hơn hơn 4 lần.
Một lần chạy trước trên bộ hội thoại 14.732 dòng mất 65 giây tính cả thời gian chờ.

Giá theo token và giá theo giây phần cứng chỉ so được khi GPU bận đầy; ở đây batch lớn và dữ liệu có sẵn nên hợp với cách tính theo giây.
Phép so chỉ tính thời gian chạy model (không có cold boot, queue hay tải thấp), nên là cận dưới cho phía tự chạy; số này không suy rộng cho tải rời rạc.