Tìm kiếm
9 kết quả cho “TTFT”. Tìm không phân biệt dấu.
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…hạn concurrency không "chậm hơn chút" mà bắt đầu xếp hàng, TTFT nhảy từ 200 ms lên 15 giây. - Hai giả định của autoscaling cổ điển bị phá: (1) metric kiểu CPU nói sai về tải : GPU…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…ần sandbox không phải chờ clone repo, khởi động tiến trình. TTFT p50 giảm khoảng 60%, p95 giảm hơn 90% (theo Anthropic). - "Nhiều bộ não" là chạy nhiều harness stateless; "nhiều đô…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…t) so với 7,3 giây (1,7 giây phát hiện + 5,6 giây promote). TTFT p50 sau lỗi 23.815 ms so với 1.311 ms; request chờ token đầu quá 5 giây: 201/399 so với 1/398. - Giới hạn của bản p…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…i/chuyển người, mức tương tác, latency). Lộ trình: chi phí, TTFT/TTLT, độc hại, phản hồi người dùng, nối với giám sát chất lượng RAG. - Gộp telemetry rời rạc: một phiên agent sinh…
- Together AI Công ty Thành viên
Nhà cung cấp hạ tầng chạy model mở. Hai nguồn trong wiki (2026) đều là bài mô tả tính năng của chính họ cho Dedicated Model Inference: autoscaling theo metric của engine, với thí nghiệm cho thấy trên cùng tải chỉ tín…