Tìm kiếm

2 kết quả cho “vLLM”. Tìm không phân biệt dấu.

• Shadow Engine Recovery in NVIDIA Dynamo
  Bài tóm tắt · NVIDIA · 2026

  …ngine trên cùng GPU dùng chung một bản weight. Tích hợp vào vLLM, SGLang, TensorRT-LLM qua một allocator plug-in cho pool weight. - Shadow engine: một engine thứ hai khởi tạo đầy đ…

• NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes
  Bài tóm tắt · NVIDIA · 2026

  Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes mất vài phút; trong lúc đó GPU đã cấp nhưng không sinh token, và hệ không kịp hấp thụ đỉnh tải.