How we optimized FLUX.1 Kontext [dev]

Replicate · 2025 · 4. Điều chỉnh · Độ khó: Nâng cao — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

Replicate mở mã FLUX.1 Kontext [dev] và giải thích cách tối ưu mà không giảm chất lượng: TaylorSeer (theo bài báo arXiv 2503.06923), cài trong repo cog-flux-kontext.

Vấn đề: sinh ảnh chạy khoảng 30 bước khử nhiễu, mỗi bước chạy cả chồng layer transformer, nhưng dự đoán các bước gần nhau thừa nhiều. Dùng lại giá trị bước trước làm ảnh mờ hoặc méo; ngoại suy tuyến tính khá hơn nhưng không bắt được đường cong.
TaylorSeer: cache giá trị đặc trưng cùng các đạo hàm bậc cao (xấp xỉ bằng sai phân hữu hạn giữa các bước đã tính thật), rồi dùng khai triển Taylor cắt cụt để ước lượng đầu ra ở bước bỏ qua.
Bước nào tính thật: bản đồ cố định: luôn tính thật các bước đầu và cuối (thay đổi lớn nhất); ở giữa tính xen kẽ ("go fast") hoặc hai ước lượng một tính thật ("go really fast"). Bài nói cách thích ứng như First Block Cache có thể khôn hơn, nhưng luật cố định đã đủ.
Số lần gọi model giảm từ khoảng 30 xuống 10–15. Bài không đưa số đo chất lượng hay thời gian.

Cache có thể lưu cả xu hướng thay đổi để bỏ bớt tính toán; cái giá là sai số, nên chỗ nhạy (đầu, cuối) vẫn tính thật.