NVIDIA L40S GPUs are here

Replicate · 2024 · 4. Điều chỉnh · Độ khó: Dễ — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

Thông báo sản phẩm, giữ phần cơ chế: Replicate bỏ hẳn A40, chuyển model và deployment sang L40S.

Đo: theo Replicate, trên các model dùng nhiều nhất L40S nhanh hơn A40 khoảng 40% (trung vị), phương pháp công khai trong một notebook Observable.
Lịch: model public chuyển 2–4/12/2024, private và deployment 9–11/12; người dùng được chuyển sớm hơn.
Giá: L40S đắt hơn mỗi giờ. Public và training tính 3,51 đô mỗi giờ: A40 thường (đắt hơn 70%, nhanh hơn 40%) thì hoá đơn gần như không đổi; A40 lớn giảm khoảng 20%; private và deployment giữ giá cũ.
Công suất: deployment giảm instance tối thiểu theo độ nhanh, ví dụ 10 A40 thành 6 L40S.

Đổi phần cứng đắt hơn mà nhanh hơn thì so theo chi phí trên mỗi đơn vị việc và cập nhật công suất tối thiểu.