Tìm kiếm
6 kết quả cho “CPU inference 8 s → 300 ms”. Tìm không phân biệt dấu.
- Learning the language of home buying: Zillow's event-based foundational user behavior model Bài tóm tắt · Zillow · 2026
…đủ điều kiện nhà ở hay cho vay . - Inference: bản đầu trên CPU chạy forward đầy đủ cho từng thuộc tính, nhiều worker tranh lõi, gần 8 s/request . Sửa: mỗi worker một luồng tính, c…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ai giả định của autoscaling cổ điển bị phá: (1) metric kiểu CPU nói sai về tải : GPU báo 60% mà hàng đợi của engine đã dồn, vì utilization đo cường độ tính toán chứ không đo áp lực…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…