Tìm kiếm
40 kết quả cho “model monitoring”. Tìm không phân biệt dấu.
- Maintaining Machine Learning Model Accuracy Through Monitoring Bài tóm tắt · DoorDash · 2021
…://doordash.engineering/2021/05/20/monitor-machine-learning-model-drift/) Bối cảnh - Model của DoorDash ước thời gian nấu, thời gian giao, quyết định giao đơn nào cho Dasher. Theo…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Anomaly Detection at Zillow Using Luminaire Bài tóm tắt · Zillow · 2021
…on-at-zillow-using-luminaire/) Bối cảnh - Zestimate, gợi ý, model CV xử lý lượng dữ liệu lớn qua nhiều pipeline, mỗi chỗ là một điểm có thể hỏng. Theo Zillow, công cụ phát hiện bất…
- Smart alerts in ThirdEye, LinkedIn's real-time monitoring platform Bài tóm tắt · LinkedIn · 2019
…ric từ sức khoẻ sản phẩm tới metric kinh doanh và hiệu năng model ML; nguồn chính là Pinot và inGraphs. - Khó đặt alert vừa chính xác vừa đủ phủ: metric khác nhau về độ mịn thời gi…
- Enhancing Cloud Usage Forecasting, Monitoring & Optimizing Bài tóm tắt · Etsy · 2024
…rvice throughput cao; - tự động cấu hình compute khi deploy model. Vì sao (theo Etsy) Sau khi lên cloud, chi phí trở thành biến số vận hành hằng ngày. Một baseline dự báo đáng tin…
- How we're building Scam Alert on WhatsApp Bài tóm tắt · WhatsApp · 2026
…ông đọc được tin (E2EE), nên không thể quét tin ở server. - Model phân loại văn bản nay đủ nhỏ để chạy trên điện thoại mà không tốn pin, hiệu năng hay dung lượng như trước. Thay đổ…
- Best Practices for Real-time Machine Learning: Alerting Bài tóm tắt · Nubank · 2022
…ing-alerting/) Bài tổng hợp thực hành từ nhiều năm vận hành model real-time ở Nubank, không kể một hệ thống cụ thể; mọi nhận định là theo Nubank. Bối cảnh - Model real-time chấm đi…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…riêng. Liên quan - · - Cùng công ty: · · - Cùng bài toán: (model sai mà không lỗi) · (lỗi chất lượng vẫn trả 200)…
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…u không thực tế. Thay đổi chính - Reliability Collaboration Model (RCM): liệt kê đầy đủ mọi việc giữ một hệ ổn định, chia bốn nhóm (vận hành cơ bản, disaster recovery, observabilit…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- DoorDash Công ty Thành viên
Nguồn đầu tiên của DoorDash trong wiki là bài 2022 của một thực tập sinh nghiên cứu (CMU): chaos engineering ở production không hợp với DoorDash vì khách mất đơn, nên thử fault injection có hệ thống ở mức service…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…ng độc lập . Theo Anthropic, họ không bao giờ hạ chất lượng model theo tải hay giờ trong ngày. Thay đổi chính (ba lỗi) 1. Định tuyến sai cửa sổ ngữ cảnh (từ 5/8): một phần request…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…. Bốn số này vào io-properties.yaml ; IO Scheduler dựng một model của đĩa từ đó, đại ý read bw/read bw max + write bw/write bw max + read iops/read iops max + write iops/write iops…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…bằng thuật toán relevance, rồi template dựng index và data model). - Static rank tính offline, sắp entity theo độ quan trọng trong mọi posting list, để dừng sớm (early termination…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- How Facebook deals with PCIe faults to keep our data centers running reliably Bài tóm tắt · Meta · 2021
…ắc phục thất bại đủ nhiều thì tự tạo ticket sửa kèm vị trí, model, nhà cung cấp. - Theo dõi xu hướng sửa chữa: một lần, dữ liệu Scuba chỉ ra lỗi hạ link là do một bản firmware của…
- The Lego Monolith — A Monolith Microservice Proof of Concept Bài tóm tắt · Slalom Build · 2016
…ừng service, vẫn phải quản trị hợp đồng, POC còn dùng chung model, API công khai vẫn cần tracing. Bài học cho SWE - Ranh giới service có thể dựng và ép bằng công cụ build trước khi…
- WhatsApp Công ty Thành viên
WhatsApp là ca hiếm: blog kỹ thuật gần như chỉ kể hai giai đoạn, và hai giai đoạn ấy giải hai bài khác hẳn nhau. Giai đoạn Erlang (2011–2014) là câu chuyện tối ưu một hệ nhỏ người: năm 2012, một server FreeBSD + Erlang…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- Booking.com Công ty Thành viên
Booking.com scale đọc bằng hàng nghìn slave MySQL (2014). Crash-safe replication của MySQL 5.6 tải lại binlog từ master sau mỗi lần khởi động, đè lên card mạng của master; họ đặt Binlog Server cục bộ trên slave để phục…
- Bumble Công ty Thành viên
Bumble là tập đoàn hẹn hò sở hữu Badoo; bài 5/2019 trên blog bumble-tech kể cách backend PHP nguyên khối của Badoo được test khi tính năng lên server trước mọi client hàng tháng: SoftMocks cho code cũ đi kèm quy tắc…