NVIDIA
Công ty Dành cho thành viên
Mạch tiến hoá
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint, tăng tốc CRIU và tách weight sang GPU Memory Service NVIDIA 2026. Sau đó dùng chính GPU Memory Service để giữ một engine dự phòng trên cùng GPU dùng chung weight, phục hồi lỗi process trong 7,3 giây thay vì 283 giây NVIDIA 2026.
Timeline
Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).
| Năm |
Giai đoạn |
Thay đổi |
Nguồn |
| 2026 |
3. Quy mô lớn |
(Nhà cung cấp) Dynamo Snapshot: checkpoint/restore worker inference; restore CRIU gpt-oss-120b 119 → 15 giây, start nhanh hơn 21 lần (bài 5/2026). |
NVIDIA 2026 |
| 2026 |
3. Quy mô lớn |
(Nhà cung cấp) Shadow engine: standby trên cùng GPU dùng chung weight, bầu active bằng flock; 283 → 7,3 giây (bài 8/2026). |
NVIDIA 2026 |
Bạn đã dùng hết 3 bài đọc thử miễn phí
Đây là phần mở đầu của NVIDIA. Thành viên đọc được toàn bộ 46 bài tổng hợp theo chủ đề và 141 dòng thời gian công ty.
Các bài tóm tắt vẫn đọc tự do.
- Đọc không giới hạn mọi bài tổng hợp và dòng thời gian
- Danh sách đọc cá nhân hoá theo trình độ và mục tiêu
- Cộng đồng Discord cho thành viên (sắp mở)
Gói 6 tháng giảm ~16%, gói 12 tháng giảm ~25%. Trả bằng VietQR hoặc thẻ.
Tất cả bài viết của blog (22 bài)
Blog này có 22 bài – thành viên xem đầy đủ danh sách, nhóm theo năm, có link về bài gốc.
Xem gói thành viên