Tìm kiếm

3 kết quả cho “Scale-down window”. Tìm không phân biệt dấu.

• Autoscaling endpoints for LLM inference
  Bài tóm tắt · Together AI · 2026

  Trả tiền theo replica-phút nên phải cân hai kiểu sai: cấp dư (GPU ngồi ở 15% chỉ để chờ đỉnh) và cấp thiếu. Theo bài, LLM serving thoái hoá phi tuyến: replica chạm giới hạn concurrency không "chậm hơn chút" mà bắt đầu…

• Deploy và release an toàn
  Chủ đề Thành viên

  Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.

• Hot partition và thundering herd
  Chủ đề Thành viên

  Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp: