Tìm kiếm
13 kết quả cho “online inference”. Tìm không phân biệt dấu.
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…ageMaker quá đắt so với lợi ích độ chính xác). - Thử nghiệm online vs offline, loại instance, số instance, batch size; chọn Batch Transform trên CPU : không cần realtime vì có khoả…
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
…k); wiki giữ phần hệ thống: từ batch hằng ngày sang dự đoán online, và cái khó của A/B test khi mọi biến thể dùng chung ngân sách. Bối cảnh - Etsy Ads là đấu giá second-price thời…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ùng để train model kế tiếp. Trước đó hai đường lệch nhau: - Online: feature truyền vào model lúc phục vụ có thể khác định dạng với lúc train ( en thay vì en-US ), nên model nhận gi…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…L serving. Thay đổi chính - Lớp người dùng: "service là một online flow". Cùng cú pháp Python của Metaflow (Zillow có bản riêng zillow-metaflow) dùng cho batch: lớp OnlineFlowSpec…
- Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Bài tóm tắt · Netflix · 2023
…riêng (sinh nhãn, featurize, train) gần giống nhau, và phía online mỗi model nằm ở một service với inference API riêng. Theo Netflix, đây là nợ kỹ thuật ẩn của hệ ML (dẫn Sculley 2…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…g batch-get : Redis trước, miss thì DynamoDB, không khoá. - Online–offline parity: feature định nghĩa một lần, training và serving dùng chung định nghĩa, kiểm tra và biến đổi; nhưn…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…latency phía client khoảng 20 ms . - Viết lại đường phục vụ online bằng Go: bản đầu dùng SDK Python của Feast; profiling cho thấy parse JSON nặng CPU và GIL là nút thắt khi concurr…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…