Tìm kiếm

3 kết quả cho “cuDNN attention”. Tìm không phân biệt dấu.

• FLUX is fast and it's open source
  Bài tóm tắt · Replicate · 2024

  …át từ flux-fp8-api , thêm torch.compile và kernel attention cuDNN trong Torch nightly), và thêm API HTTP sync làm nhanh mọi model ảnh. - Công khai đánh đổi: lượng tử hoá fp8 làm đầ…

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Replicate
  Công ty Thành viên

  Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…