FLUX is fast and it's open source

Replicate · 2024 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Thay đổi chính

• Số đo (từ bờ tây Mỹ, client Python): FLUX.1 schnell 512x512, 4 bước: 0,29 giây (P90 0,49); 1024x1024: 0,72 giây; FLUX.1 dev 1024x1024, 28 bước: 3,03 giây (P90 3,90).
• Hai việc: tối ưu model (xuất phát từ flux-fp8-api, thêm torch.compile và kernel attention cuDNN trong Torch nightly), và thêm API HTTP sync làm nhanh mọi model ảnh.
• Công khai đánh đổi: lượng tử hoá fp8 làm đầu ra hơi khác. Họ làm công cụ so hàng nghìn prompt, và cờ go_fast tắt được tối ưu, vì rất khó biết nhà cung cấp có hạ chất lượng hay không. Mã mở ở repo cog-flux.

Bài học cho SWE

• Tối ưu inference có thể đổi đầu ra, nên cần cờ tắt và bộ so chất lượng công khai thì số tốc độ mới đáng tin.

Liên quan

• Replicate 2024 · Replicate 2025 · Replicate 2025
• Nền tảng ML (feature, training, serving, giám sát model) · Hạ tầng phục vụ LLM inference