Tìm kiếm
7 kết quả cho “CUDA”. Tìm không phân biệt dấu.
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…tion hay gặp lỗi phần mềm phục hồi được (process crash, lỗi CUDA phục hồi được, collective lỗi tạm thời) trong khi phần cứng và node vẫn khoẻ. Đường phục hồi chuẩn là cold restart:…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…descriptor, namespace). Thay đổi chính - Ghép hai công cụ: cuda-checkpoint đổ trạng thái GPU về bộ nhớ CPU của process; CRIU ghi cả cây process xuống storage chung (NFS/SMB). Rest…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
Fleet phần cứng của Meta không đồng nhất: GPU NVIDIA, GPU AMD, chip MTIA tự làm (4 thế hệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từng chip; số kernel = {loại và thế hệ phần cứng} × {kiến…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Evolution of the PyTorch Media Processing Landscape Bài tóm tắt · PyTorch · 2026
…ad video , VideoReader ) trên ba backend (PyAV, FFmpeg C++, CUDA/NVCUVID), chỉ PyAV dùng được ngay, hai cái kia phải tự build. - Media I/O kéo theo nhiều phụ thuộc native: sáu phiê…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…