Tìm kiếm
9 kết quả cho “GPU memory”. Tìm không phân biệt dấu.
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…qua được bước khởi tạo: (1) weight gắn với process (bộ nhớ GPU thuộc CUDA context, process chết là driver giải phóng hết); (2) một số trạng thái không chuyển giao được : communica…
- Using OxCaml to implement type-safe reference counting between OCaml and Python Bài tóm tắt · Jane Street · 2026
…Hệ quả: việc giải phóng một data frame nhiều GB (hay bộ nhớ GPU) bị buộc vào lúc GC của OCaml tình cờ chạy. GC lại chỉ thấy 8 byte nên không có lý do gấp. Theo bài, viết Python trá…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…CRIU chưa phát hành (chờ merge upstream). Bài sau dùng lại GPU Memory Service cho failover: . Bối cảnh - Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…