Tìm kiếm
40 kết quả cho “đóng gói model”. Tìm không phân biệt dấu.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…khi lên production. - Trước nền tảng này: model và feature đóng chung vào build image theo lịch phát hành cố định, lỡ một đợt thì chờ đợt sau, thường vài tuần; nhiều bước tay giữa…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…l phải vừa RAM của mọi máy nên cần nhiều máy rất lớn; model đông traffic không scale riêng được. - Bảo trì: chung dependency nên model mới muốn dùng thư viện mới phải giữ tương thí…
- Machine learning needs better tools Bài tóm tắt · Replicate · 2023
…là "theo Replicate" (họ tự đo). Bối cảnh - Bài luận do một đồng sáng lập (từng làm Docker Compose) viết về lý do lập Replicate. Đây là quan điểm của công ty, không có số đo. - Từ…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…vẫn lộ khái niệm cấp thấp (ví dụ biến môi trường), hoặc ép đóng gói model theo định dạng riêng; load test của Zillow cho thấy p90/p95 của chúng kém vì đặc điểm riêng của ML servin…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…sổ, cửa ra vào, lối mở trong ảnh panorama của tour 3D để tự động hoá việc vẽ sơ đồ nhà. Cần hạ tầng deploy và phục vụ model dễ tích hợp, tin cậy, dễ thêm model, dùng lại được cho Z…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Learning the language of home buying: Zillow's event-based foundational user behavior model Bài tóm tắt · Zillow · 2026
…tính (khoảng giá, diện tích, số phòng, đặc điểm; loại hành động, thời gian xem, khoảng cách thời gian) bằng tokenizer riêng , mỗi thuộc tính một token ("San Francisco" là một toke…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…ấm điểm. FollowFeed là FPR chính: hơn 80% update trên feed, đóng góp hơn 95% cuộc hội thoại của member (2019). - Model chọn ứng viên trong FollowFeed bị gắn chặt với code (vì index…
- Running a Software Factory Efficiently at Uber Scale Bài tóm tắt · Uber · 2026
…eo thang. - Từ tháng 2 tới tháng 8/2026, số người dùng hoạt động hằng tuần của mọi sản phẩm agent (cả engineer lẫn không phải engineer) tăng 7 lần , số request agent mỗi tuần tăng…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…Thay đổi chính - Q1–Q4 2020: dựng hạ tầng chạy forecast tự động mỗi tuần và theo yêu cầu , phần tune nặng chạy vào cuối tuần; tune từ vài tháng xuống vài giờ . - Sau bước QA dữ li…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…lược retrieval từ khoá phạm vi rộng tốn nhiều latency mà ít đóng góp (kết quả đã có từ nguồn khác, gồm semantic); bỏ chúng giảm khoảng 120 ms không hồi quy conversion. Dedupe chuỗi…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…g thái hiện tại của nhà hàng (bao nhiêu người đang chờ, giờ đóng cửa) và chịu QPS cao. - Hai thách thức: phục vụ dự đoán online từ một model train bằng Spark trong một service Pyth…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
…o dịch sau; bán lẻ thì thêm nhiều người dùng. Phần lớn hoạt động đến từ market maker; lúc biến động, một công cụ có thể nhận hàng trăm cập nhật mỗi giây, có những đợt dồn hàng trăm…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn incident bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…ợc ngữ cảnh nghiệp vụ trực tiếp, gọi service nội bộ và hành động thay người dùng. Khi hàng trăm team cùng làm, mỗi team tự tích hợp: công cụ phân mảnh, hạ tầng trùng lặp, tool khó…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…center, dùng ở cả mid-tier và frontend, và instance co giãn động, mapping hỏng mỗi khi host bị thay và phải dựng lại tay ở mọi DC. - Dark canary cluster: đưa vào D2 (service discov…
- グローバルなメルカリの検索バックエンド設計と検索基盤拡充 (Search backend for the Global App and extending the search platform) Bài tóm tắt · Mercari · 2025
…mã nguồn mở bên dưới; mỗi domain dùng được độc lập, mở cho đóng góp qua plugin để tránh "chính trị" ưu tiên. Hiện search Global App chạy lai VAIS:C và lớp mới trên EaaS. Vì sao -…
- Building Private Processing for AI tools on WhatsApp Bài tóm tắt · WhatsApp · 2025
…m cứng và chạy trong container; - lọc log, chỉ cho xuất các dòng được phép (như log lỗi), vì observability mâu thuẫn với điện toán bí mật; - cấm remote shell kể cả từ host; - build…
- Xử lý incident và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…ngày cũng được). Team reliability làm tài liệu, công cụ tự động, đào tạo cho từng mục để team sản phẩm tự làm được. - Mức 2, Partial: team reliability nhận khoảng một nửa việc; te…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…Kafka; storage node không nhận ghi online mà tự ingest bất đồng bộ từ Kafka . Đường đọc: router stateless chuyển request tới đúng node nhờ theo dõi bảng partition (vai spectator c…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Incident và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một incident: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), synchronous call từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một data…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…