Tìm kiếm
22 kết quả cho “triển khai model”. Tìm không phân biệt dấu.
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…e trong process. Phần ML gắn thêm vào đó tên là Gazette . - Triển khai trên hạ tầng cũ: Puppet dựng máy, công cụ rollingpin để rollout, mỗi EC2 chạy 4 process Minsky/Gazette chung…
- Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Bài tóm tắt · Netflix · 2023
…các canvas gộp lại có phân tầng. - Online: cùng một model, triển khai ở nhiều môi trường theo use case , mỗi môi trường có "núm" chỉnh latency, độ tươi dữ liệu model, chính sách c…
- Machine learning needs better tools Bài tóm tắt · Replicate · 2023
…import một package npm. Bài học cho SWE - Chuẩn hoá đơn vị triển khai (container cộng API sinh tự động) tách người làm model khỏi hạ tầng; cùng ý tưởng với PaaS cho web. - Đọc bài…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…ình quyền truy cập của nhà cung cấp. Bối cảnh - Hai mô hình triển khai hạ tầng dữ liệu quen thuộc: tự quản lý (mua license) và SaaS (nhà cung cấp chạy trong cloud của họ). BYOC chi…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…chỉ gồm file tĩnh, deploy qua CI/CD như dữ liệu. Thời gian triển khai model giảm từ 3 ngày xuống 30 phút . - Feature cục bộ: feature của viewer đi kèm request; feature của update…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, sync thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), synchronous call từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Replicate Công ty Thành viên
Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…ết thì dựng lại và đọc log (). - Gói mọi thứ vào một đơn vị triển khai thì nhanh lúc đầu, nhưng gộp luôn miền lỗi, quyền truy cập và khả năng gỡ lỗi; tách theo interface hẹp ( exec…
- Netflix Công ty Thành viên
Incident hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là incident AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…như thư viện có nhiều cách gọi (API, UDF batch) để đổi cách triển khai mà không viết lại. - Tính toán nặng ở batch, phục vụ từ một kho đồ thị riêng được nạp hàng loạt. - Mở rộng th…
- Designing for latency and iteration Bài tóm tắt · Optiver · 2026
…action giúp scale năm đầu thành thuế năm thứ năm. - Kết quả triển khai sớm: các chỉ số quan trọng cải thiện (không công bố số); latency và tốc độ nghiên cứu "thôi đánh nhau" khi st…
- How we optimized FLUX.1 Kontext [dev] Bài tóm tắt · Replicate · 2025
…sai phân hữu hạn giữa các bước đã tính thật), rồi dùng khai triển Taylor cắt cụt để ước lượng đầu ra ở bước bỏ qua. - Bước nào tính thật: bản đồ cố định: luôn tính thật các bước đầ…
- Coding Had a Concurrency Problem: How Mux Helped Solve It Bài tóm tắt · Coinbase · 2026
…engineer, chia sẻ trong một kênh Slack, không có chiến dịch triển khai; người dùng đóng góp plugin tích hợp hạ tầng nội bộ (đẩy việc sang fleet agent trên cloud, deploy qua Codeflo…
- Osprey: Open Sourcing our Rule Engine Bài tóm tắt · Discord · 2026
Discord cần một hệ đánh giá hoạt động của user theo thời gian thực để phát hiện lạm dụng: xử lý hàng nghìn event mỗi giây, cho team viết luật có hiệu lực trong vài phút, trả về phán quyết rõ ràng, cho thấy luật đã chạy…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…c" khác nhau; team làm cùng các team sinh tín hiệu và kỹ sư triển khai tại khách để lấy đúng dữ liệu nguồn, việc này vẫn đang tiếp tục. - Hướng tiếp: vòng đời incident gồm phát hiệ…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
Hai phần trước của series tìm ra hai nguyên nhân làm instance lớn "không scale": queue công bằng trong IO Scheduler của Seastar tự bóp băng thông còn một phần nhỏ so với thông số, và block size/căn chỉnh của XFS gây…