Tìm kiếm
33 kết quả cho “Model serving”. Tìm không phân biệt dấu.
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…i gốc](https://www.zillow.com/tech/serving-machine-learning-models-efficiently-at-scale-at-zillow/) Bối cảnh - Nhiều tính năng của Zillow (Zestimate, gợi ý nhà, floor plan, semanti…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
….reddit.com/r/RedditEng/comments/q14tsw/evolving reddits ml model deployment and serving/) Bối cảnh - Hệ ML của Reddit (2021) phục vụ hàng nghìn request inference mỗi giây cho feed…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…g bình — [bài gốc](https://www.zillow.com/tech/sagemaker-ml-model-deployment-floor-plans/) Bối cảnh - Zillow Floor Plan: model phát hiện cửa sổ, cửa ra vào, lối mở trong ảnh panora…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…— [bài gốc](https://medium.com/paypal-tech/machine-learning-model-ci-cd-and-shadow-platform-8c4f44998c78) Bài đầu của một series về nền tảng shadow cho model; các phần sau (meta-le…
- Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Bài tóm tắt · Netflix · 2023
…lixtechblog.medium.com/lessons-learnt-from-consolidating-ml-models-in-a-large-scale-recommendation-system-870c5ea5eb4a) Bối cảnh - Hệ recommendation và search thường mọc ra một mod…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…ó: Trung bình — [bài gốc](https://eng.lyft.com/lyftlearn-ml-model-training-infrastructure-built-on-kubernetes-aef8218842bb) Bài thứ hai của một cặp; bài trước về Feature Service: .…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…32a) Bài đầu của một cặp; bài sau về training: . Bối cảnh - Model ML ở Lyft (ghép tài xế–khách, định giá, coupon, chống gian lận, hỗ trợ) cần feature tính theo hai cách: batch trên…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…r. Theo Uber, đưa nó vào production là cả một stack: deploy model, phục vụ index ANN, giám sát, quản lý phiên bản. Thay đổi chính - Model (tóm tắt): two-tower trên backbone Qwen ti…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ydration) −35 ms; bỏ phụ thuộc tín hiệu item trực tiếp khỏi model xếp hạng cửa hàng để hai bước chạy độc lập (mục tiêu −20 ms). Request hedging ở bốn tầng phụ thuộc của hydration h…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…ntroller tính số partition theo kích thước dataset. - State model năm trạng thái: OFFLINE → BOOTSTRAP (đang đọc Kafka, chưa phục vụ) → ONLINE; lỗi thì ERROR; DROPPED khi dọn. Helix…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…phần (phần 2, 2022, chỉ phân tích không gian embedding của model nên wiki không ingest). Bài của đội Data Science; phần kiến trúc model chỉ tóm tắt ngắn. Bối cảnh - Bumble Inc. (v…
- From shallow to deep learning in fraud Bài tóm tắt · Lyft · 2018
…t định gian lận ban đầu được xây cho luật nghiệp vụ dễ đọc; model chỉ là "phần mở rộng của luật": hệ số logistic regression được chép tay vào code. Bug đầu tiên tác giả sửa là một…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đường lệch nhau: - Online: feature truyền vào model lúc phục vụ có thể khác định dạng với lú…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…online ở nhà hàng không nhận đặt chỗ; mỗi lần xếp hàng, một model dự đoán thời gian chờ. Hệ phải bám trạng thái hiện tại của nhà hàng (bao nhiêu người đang chờ, giờ đóng cửa) và ch…
- Building the Neural Zestimate Bài tóm tắt · Zillow · 2023
Zestimate ra 2/2006 cho 40 triệu nhà, cập nhật hằng tháng; nay hơn 100 triệu nhà, cập nhật vài lần mỗi tuần.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…nking-engineer-agent-optimizes-ai-infrastructure/) Phần ML (model xếp hạng quảng cáo) chỉ tóm tắt ngắn; trang này giữ phần hệ thống: agent sinh code đặt trong vòng tìm kiếm có harn…
- Reddit Công ty Thành viên
Reddit chuyển service từ EC2 Auto Scaling Group (nhiều bản app mỗi VM + sidecar, Terraform/Puppet) sang Kubernetes, giữ nguyên các trừu tượng dev đã quen; mảng Ads tụt lại và chuyển sau, từng phụ thuộc một . Năm 2024,…
- Lyft Công ty Thành viên
Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền . Nền tảng…
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
…ới một giây, trả feature cho luật rủi ro hoặc embedding cho model, dùng chặn gian lận online); interactive (vài giây đến vài phút, có trực quan hoá, cho back office và điều tra rửa…
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
…text-specific-bidding-system-for-etsy-ads/) Phần lớn bài là model (dự đoán tỉ lệ mua sau click); wiki giữ phần hệ thống: từ batch hằng ngày sang dự đoán online, và cái khó của A/B…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…viết như hướng dẫn dùng tính năng autoscaling cho Dedicated Model Inference; mọi nhận định là theo Together AI. Giữ lại vì có thí nghiệm so sánh ba tín hiệu scale trên cùng tải. Bà…
- Bumble Công ty Thành viên
Bumble là tập đoàn hẹn hò sở hữu Badoo; bài 5/2019 trên blog bumble-tech kể cách backend PHP nguyên khối của Badoo được test khi tính năng lên server trước mọi client hàng tháng: SoftMocks cho code cũ đi kèm quy tắc…
- Counter Service: How we rewrote it in Rust Bài tóm tắt · Grab · 2025
…monorepo. Rust vào dần: vài CLI, rồi một reverse proxy cho model serving (Catwalk). Câu hỏi tiếp theo là ROI của việc viết lại một service Go. - Tiêu chí chọn service (theo Grab):…
- Inside SkyTour's AI engine: From drone footage to immersive 3D Bài tóm tắt · Zillow · 2026
SkyTour (ra 2025 cho listing Zillow Showcase): xem ngoại thất nhà từ mọi góc, dựng từ video drone thành cảnh 3D tương tác chạy trong trình duyệt.