Torch compile caching for inference speed

Replicate · 2025 · 4. Điều chỉnh · Độ khó: Trung bình — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Thay đổi chính

• torch.compile phải biên dịch lại mỗi lần container khởi động. Replicate cache artifact biên dịch theo version model, lưu gần node GPU.
• Theo Replicate, cold boot giảm 2–3 lần (flux-kontext-dev khoảng 120 giây còn 60).

Bài học cho SWE

• Chi phí khởi động lặp lại ở mọi container thì cache theo version đầu vào.

Liên quan

• NVIDIA 2026 · Replicate 2024
• Hạ tầng phục vụ LLM inference · Cache và invalidation