FLUX fine-tunes are now fast

Replicate · 2024 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Thay đổi chính

• Tiếp Replicate 2024: bản fine-tune do người dùng train chạy bằng tốc độ model gốc (P50: schnell 0,6 giây, dev 2,8 giây). Lần chạy đầu tốn thêm khoảng 2,5 giây nạp bản đó; sau đó request được định tuyến tới instance đã nạp sẵn.
• Cách làm: bản fine-tune là LoRA; họ lượng tử hoá sang fp8 rồi gộp weight vào model gốc, và nhân lora_scale 1,5 lần khi go_fast=true vì thấy ảnh đẹp hơn. Không bật go_fast vẫn nhanh gấp đôi.
• Có thêm bản FLUX nhận LoRA từ Hugging Face, Civitai hoặc URL qua lora_weights.

Bài học cho SWE

• Với nhiều biến thể nhẹ trên một model nền, gộp biến thể vào nền và định tuyến theo bản đã nạp tránh nạp lại, đổi lại mỗi bản gộp chiếm một instance.

Liên quan

• Replicate 2023
• Nền tảng ML (feature, training, serving, giám sát model) · Multi-tenancy và cô lập tenant