Tìm kiếm

7 kết quả cho “torch.compile”. Tìm không phân biệt dấu.

• FLUX is fast and it's open source
  Bài tóm tắt · Replicate · 2024

  …- Hai việc: tối ưu model (xuất phát từ flux-fp8-api , thêm torch.compile và kernel attention cuDNN trong Torch nightly), và thêm API HTTP sync làm nhanh mọi model ảnh. - Công khai…

• Torch compile caching for inference speed
  Bài tóm tắt · Replicate · 2025

  …ề sản phẩm là "theo Replicate" (họ tự đo). Thay đổi chính - torch.compile phải biên dịch lại mỗi lần container khởi động. Replicate cache artifact biên dịch theo version model, lưu…

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Cache và invalidation
  Chủ đề Thành viên

  Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:

• Nền tảng ML (feature, training, serving, giám sát model)
  Chủ đề Thành viên

  Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:

• Replicate
  Công ty Thành viên

  Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…

• KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure
  Bài tóm tắt · Meta · 2026

  …nce model quảng cáo Andromeda tăng hơn 60% so với bản đã có torch.compile và thư viện hãng; trên MTIA, throughput training một model quảng cáo tăng hơn 25%; công việc nhiều tuần củ…