Tìm kiếm

5 kết quả cho “fp8”. Tìm không phân biệt dấu.

• FLUX is fast and it's open source
  Bài tóm tắt · Replicate · 2024

  …iây (P90 3,90). - Hai việc: tối ưu model (xuất phát từ flux-fp8-api , thêm torch.compile và kernel attention cuDNN trong Torch nightly), và thêm API HTTP sync làm nhanh mọi model ả…

• FLUX fine-tunes are now fast
  Bài tóm tắt · Replicate · 2024

  …n . - Cách làm: bản fine-tune là LoRA; họ lượng tử hoá sang fp8 rồi gộp weight vào model gốc , và nhân lora scale 1,5 lần khi go fast=true vì thấy ảnh đẹp hơn. Không bật go fast vẫ…

• Nền tảng ML (feature, training, serving, giám sát model)
  Chủ đề Thành viên

  Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Replicate
  Công ty Thành viên

  Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…