Tìm kiếm
12 kết quả cho “concurrency autoscaling”. Tìm không phân biệt dấu.
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…bài, LLM serving thoái hoá phi tuyến: replica chạm giới hạn concurrency không "chậm hơn chút" mà bắt đầu xếp hàng, TTFT nhảy từ 200 ms lên 15 giây. - Hai giả định của autoscaling c…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…erve trên Kubernetes/Istio: autoscaler trung tâm scale theo concurrency hay RPS và scale về 0; activator trung tâm giữ request thừa và chỉ gửi tới replica còn chỗ; sidecar queue-pr…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Dream11 Công ty Thành viên
Fantasy sports với hơn 100 triệu user, traffic dồn theo từng trận đấu nhanh hơn autoscaling phản ứng. Dream11 dự báo concurrency theo giờ, kiểm năng lực bằng game day, rồi scale chủ động theo bậc trước, trong và sau…
- To Scale In Or Scale Out? Here's How We Scale at Dream11 Bài tóm tắt · Dream11 · 2021
…; API của cloud bị giới hạn tốc độ. Thay đổi chính - Dự báo concurrency theo giờ bằng XGBoost (hơn 200 biến, xếp hạng mức độ "hot" của trận, hàm loss không chấp nhận dự báo thiếu).…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…