Tìm kiếm

4 kết quả cho “cuda-checkpoint”. Tìm không phân biệt dấu.

• NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes
  Bài tóm tắt · NVIDIA · 2026

  …descriptor, namespace). Thay đổi chính - Ghép hai công cụ: cuda-checkpoint đổ trạng thái GPU về bộ nhớ CPU của process; CRIU ghi cả cây process xuống storage chung (NFS/SMB). Rest…

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Tự động hoá vận hành và auto-remediation
  Chủ đề Thành viên

  Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…

• NVIDIA
  Công ty Thành viên

  Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…