Tìm kiếm
36 kết quả cho “rollback model”. Tìm không phân biệt dấu.
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…g thấy, p95 tăng gấp đôi thì biết qua dashboard hoặc khách, rollback về model cũ phải cold start) hoặc tự viết script đẩy dần phần trăm traffic trong khi nhìn Grafana. Thay đổi chí…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…, chạy lỗi hoặc quá SLA real-time, khi đó cả pool live phải rollback và model quay lại từ đầu vòng đời; model mới có thể mất vài tháng mới dùng được. Thay đổi chính - Quokka , nền…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…ngữ cảnh; lỗi khác 0 trong một khoảng ngắn thì alert và tự rollback model về bản trước (index giữ nguyên). Không thêm latency hay bước mạng trên đường đọc. Vì sao - Model và index…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML có logging chung, phát hiện bất thường real-time, dashboard tập trung; từ những bản đầu đã có thể ki…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…ví dụ chèn ký tự Thái hay Trung vào câu trả lời tiếng Anh). Rollback ngày 2/9; thêm test phát hiện ký tự bất thường vào quy trình deploy. 3. Lỗi tiềm ẩn trong compiler XLA:TPU (25–…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
…ng một event đầu ra và chờ event đầu vào phản hồi. Không có rollback tự động, nên kiểm hợp lệ toàn bộ input trước khi sửa trạng thái. - Disruptor quanh BLP: phía vào phải unmarshal…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…hay đổi mô tả là một diff cấu hình cần chủ server duyệt, có rollback về bản trước. - Data plane (Proxy Gateway): đọc cấu hình từ control plane và làm mới trạng thái trong bộ nhớ th…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ấu hình, bớt serialize), consumer lag đỉnh giảm khoảng 70%. Rollback tự động, alert-as-code, query kiểm tất định, môi trường thử giống production. - Feature dạng chuỗi của transfor…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- PayPal Công ty Thành viên
Nguồn đầu tiên của PayPal trong wiki là về tổ chức: các team sản phẩm tự chủ cao, không có cơ quan trung tâm quy định quy trình. Từ cuối 2019 một nhóm tình nguyện liên phòng ban định nghĩa thế nào là sự cố, mức nghiêm…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…cũ ghi bảng shadow. Vẫn có tín hiệu so sánh sau rollout, và rollback ngay mà không phải dựng lại job cũ. 3. Dọn dẹp: không còn lệch thì bỏ job cũ. - Tín hiệu sớm: sau rollout chạy…
- Automating Feature-Flag Cleanup at Scale with a Multi-Agent LLM System Bài tóm tắt · DoorDash · 2026
…ollout dở, thí nghiệm bỏ) thì người quyết hoàn tất rollout, rollback hay để sau. - Pha 2 (Claude Opus cho từng flag): tối đa 4 agent song song mỗi repo, mỗi agent một git worktree…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- Atlas: Our journey from a Python monolith to a managed platform Bài tóm tắt · Dropbox · 2021
…hung một bản nên gần như ngày nào cũng có bug nghiêm trọng, rollback cả monolith, lịch đẩy không đoán được; không rollout được thứ hạ tầng mới chỉ cho route ít quan trọng; framewor…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…ework dựa trên BitTorrent theo replica group, có version và rollback. - Ví dụ Instant Member Search (typeahead): trước chỉ tìm trong kết nối cấp 1–2, giờ tìm được mọi member; theo…
- Designing Experimentation Guardrails Bài tóm tắt · Airbnb · 2021
…trường hợp xấu nhất là phát hiện sau khi đã launch và phải rollback. Thay đổi chính - 2019: hệ thống Experiment Guardrails toàn công ty. Thí nghiệm "kích hoạt" guardrail thì không…