Tìm kiếm
13 kết quả cho “GPU model serving”. Tìm không phân biệt dấu.
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…điểm của ML serving mà Zillow liệt kê: - CPU-bound (có khi GPU) chứ không I/O-bound: mỗi replica chạy được ít worker, async I/O ít lợi, context switch và CPU throttling ảnh hưởng…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…- Chỉ dùng SageMaker cho inference; train trên máy cục bộ (GPU của SageMaker quá đắt so với lợi ích độ chính xác). - Thử nghiệm online vs offline, loại instance, số instance, batc…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…perparameter tuning. - Phát triển: chọn cấu hình phần cứng (GPU/CPU, RAM) và base image rồi mở notebook Jupyter hoặc R-studio trên cụm Kubernetes riêng của LyftLearn, lên trong vài…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ard chứ không do chậm đồng loạt: −40 ms. Phục vụ model trên GPU, cache model relevance. - Quảng cáo: dữ liệu bid lưu dạng dòng lặp lại metadata cho mỗi bid, tốn serialize; chuyển s…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…enizer và model chạy cùng nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sá…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…h giá. Bối cảnh - Fleet phần cứng của Meta không đồng nhất: GPU NVIDIA, GPU AMD, chip MTIA tự làm (4 thế hệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từn…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ả tiền theo replica-phút nên phải cân hai kiểu sai: cấp dư (GPU ngồi ở 15% chỉ để chờ đỉnh) và cấp thiếu. Theo bài, LLM serving thoái hoá phi tuyến: replica chạm giới hạn concurren…
- Inside SkyTour's AI engine: From drone footage to immersive 3D Bài tóm tắt · Zillow · 2026
…thành workflow Metaflow , mỗi bước trên Kubernetes với CPU/GPU cấp theo yêu cầu bước; logic 3DGS tách khỏi lớp orchestration. Chạy lặp lại trên hàng nghìn bất động sản. Vì sao - B…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Bumble Công ty Thành viên
Bumble là tập đoàn hẹn hò sở hữu Badoo; bài 5/2019 trên blog bumble-tech kể cách backend PHP nguyên khối của Badoo được test khi tính năng lên server trước mọi client hàng tháng: SoftMocks cho code cũ đi kèm quy tắc…