Tìm kiếm
10 kết quả cho “Warm start”. Tìm không phân biệt dấu.
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…- Hook quiesce/resume: worker khởi tạo engine (nạp weight, warm kernel, capture graph) rồi ghi file "sẵn sàng checkpoint" trước khi kết nối control plane và đăng ký discovery, vì…
- Why we replaced Node.js with Bun for 5x throughput Bài tóm tắt · Trigger.dev · 2026
…kill ở cuối, wiki bỏ qua. Bối cảnh - Firestarter là broker "warm start": giữ hàng nghìn kết nối long-poll HTTP từ run controller đang rảnh; khi có task run, ghép với một controller…
- Moving Velo to Multiple Container Sites: The Why, The How and The Lessons Learned Bài tóm tắt · Wix · 2021
Velo (trước gọi là Corvid) cho người dùng Wix viết code backend và frontend cho site. Nó được thiết kế rất rẻ để phục vụ hàng chục triệu khách nhỏ: mỗi site chạy trên một container. Khách lớn xuất hiện thì cần chạy…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…: xếp lên node GPU, kéo hàng chục GB weight, nạp vào VRAM, warm-up. Không thể scale kịp một đỉnh đã tới, nên phải phản ứng theo tín hiệu dẫn trước . Thay đổi chính - Vòng điều khi…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
2016, giám sát: hệ giám sát DB thành nút cổ chai khi số DB tăng: độ chi tiết chỉ 1 phút, sau tối ưu mới được 10 giây. Bộ phận bảo mật lại đòi thu toàn bộ câu SQL để phân tích realtime. Họ dựng lại cả hệ giám sát (giám…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…thứ hai khởi tạo đầy đủ (context, communicator, CUDA graph, warm-up, map weight qua GMS) rồi "đỗ": giải phóng phần có thể dựng lại, giữ dải địa chỉ của KV cache mà không có bộ nhớ…
- Trigger.dev Công ty Thành viên
Nền tảng background job chạy trên Postgres. Năm 2024 vacuum bị chặn vì xmin horizon kẹt làm bảng queue (Graphile Worker) đầy dead tuple và CPU 99%; failover mới gỡ được . Năm 2026, để nâng cấp cụm Aurora 56 TB mà không…