Tìm kiếm
34 kết quả cho “model container”. Tìm không phân biệt dấu.
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…ó: Trung bình — [bài gốc](https://eng.lyft.com/lyftlearn-ml-model-training-infrastructure-built-on-kubernetes-aef8218842bb) Bài thứ hai của một cặp; bài trước về Feature Service: .…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
….reddit.com/r/RedditEng/comments/q14tsw/evolving reddits ml model deployment and serving/) Bối cảnh - Hệ ML của Reddit (2021) phục vụ hàng nghìn request inference mỗi giây cho feed…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…i gốc](https://www.zillow.com/tech/serving-machine-learning-models-efficiently-at-scale-at-zillow/) Bối cảnh - Nhiều tính năng của Zillow (Zestimate, gợi ý nhà, floor plan, semanti…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…g bình — [bài gốc](https://www.zillow.com/tech/sagemaker-ml-model-deployment-floor-plans/) Bối cảnh - Zillow Floor Plan: model phát hiện cửa sổ, cửa ra vào, lối mở trong ảnh panora…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…neeringblog.yelp.com/2026/07/training-orchestrator-unifying-model-training-at-yelp.html) Bối cảnh - Yelp đã có feature store cho dữ liệu tái lập được, thư viện training chung cho n…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…i hạn (Claude Managed Agents). Phần context engineering cho model chỉ tóm tắt ngắn; trọng tâm ở đây là việc tách một container chứa tất cả thành ba thành phần có trạng thái riêng.…
- From shallow to deep learning in fraud Bài tóm tắt · Lyft · 2018
…t định gian lận ban đầu được xây cho luật nghiệp vụ dễ đọc; model chỉ là "phần mở rộng của luật": hệ số logistic regression được chép tay vào code. Bug đầu tiên tác giả sửa là một…
- Building Private Processing for AI tools on WhatsApp Bài tóm tắt · WhatsApp · 2025
…uest mã hoá đầu cuối giữa thiết bị và TEE bằng khoá tạm; 6. model chạy trong confidential VM (CVM), không lưu tin; CVM nói chuyện với nhau bằng cùng loại RA-TLS; 7. kết quả mã hoá…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Quantifying infrastructure noise in agentic coding evals Bài tóm tắt · Anthropic · 2026
…engineering/infrastructure-noise) Anthropic là nhà cung cấp model và tự chạy eval cho model của mình; các con số dưới đây là "theo Anthropic". Bối cảnh - Benchmark coding kiểu agen…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- Chaos Testing a Distributed System with Jepsen Bài tóm tắt · Appian · 2019
…ây lỗi (mạng, giết thành phần, tải ngẫu nhiên); sau đó dùng model Knossos để chứng minh lịch sử thao tác có linearizable hay không. - Chạy Jepsen trong Docker để ai cũng chạy được…
- 3 Changes to Expand DoorDash's Product Search Beyond Delivery Bài tóm tắt · DoorDash · 2022
…gán nhãn đi từ làm tay → quy trình chuẩn cho đội vận hành → model, có kiểm toán mẫu; thuê ngoài gán nhãn với nhiều người cho cùng một việc. Gán POS tag bằng transformer trong Pytho…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Lyft Công ty Thành viên
Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền . Nền tảng…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…nạp weight vào HBM, compile kernel, capture CUDA graph; với model lớn mất vài phút, trong lúc đó các worker còn lại gánh traffic. - Hai lý do engine mới không bỏ qua được bước khởi…
- WhatsApp Công ty Thành viên
WhatsApp là ca hiếm: blog kỹ thuật gần như chỉ kể hai giai đoạn, và hai giai đoạn ấy giải hai bài khác hẳn nhau. Giai đoạn Erlang (2011–2014) là câu chuyện tối ưu một hệ nhỏ người: năm 2012, một server FreeBSD + Erlang…
- De-identified authentication at scale (Anonymous Credential Service) Bài tóm tắt · Meta · 2022
…022); federated learning là hướng tiềm năng (chống cập nhật model giả mà không biết ai gửi). - Kiến trúc: service C++ trên Twine (hệ điều phối container của Meta), cân bằng tải toà…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…20b giảm 21 lần (theo NVIDIA). Vì sao - Chưa tối ưu thì với model lớn restore còn chậm hơn cold start, mất ý nghĩa; nút thắt chuyển dần từ kích thước artifact sang tốc độ copy của…
- How we designed our continuous integration system to be more than 50% faster Bài tóm tắt · Pinterest · 2021
…), nhờ vậy query của build-collector đơn giản. - Dispatcher Model: tính xong danh sách target thì phân cho nhiều worker chạy song song; target release chạy độc lập nên ai chỉ quan…