Tìm kiếm

4 kết quả cho “Checkpoint/restore”. Tìm không phân biệt dấu.

• NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes
  Bài tóm tắt · NVIDIA · 2026

  …giữ chỗ nhẹ rồi khôi phục vào namespace của nó. Không dùng checkpoint/restore có sẵn của Kubernetes qua runc để không phụ thuộc feature gate của từng cloud, kiểm soát tham số CRIU…

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Tự động hoá vận hành và auto-remediation
  Chủ đề Thành viên

  Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…

• NVIDIA
  Công ty Thành viên

  Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…