DrP: Meta's Root Cause Analysis Platform at Scale
Bài tóm tắt Meta 2025 3. Quy mô lớn Độ khó: Trung bình
Meta · 2025 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc
Bài tóm tắt một paper (arXiv 2512.04250). Chủ yếu mô tả nền tảng, ít chi tiết thiết kế; số liệu MTTR là của Meta, ghi "theo Meta". Phần định hướng "AI-native" chỉ nhắc ngắn.
Bối cảnh
- Theo Meta, điều tra sự cố bằng tay ở hệ lớn dựa vào playbook cũ và script tự viết, kéo dài downtime và làm người trực mệt.
Thay đổi chính
- DrP: nền tảng để viết playbook điều tra thành code (gọi là analyzer) bằng một SDK có sẵn thư viện truy cập dữ liệu và thuật toán cô lập vấn đề: phát hiện bất thường, cô lập sự kiện, tương quan time-series, phân tích theo chiều (dimension analysis).
- Quy trình viết: liệt kê bước điều tra → sinh khung analyzer → code cây quyết định → nối analyzer để phân tích service phụ thuộc → xuất kết quả dạng chữ và dạng máy đọc. Analyzer qua code review, có backtest tự động gắn vào review.
- Chạy: tích hợp với alert và công cụ quản lý sự cố, tự chạy khi alert bắn nên người trực có kết quả ngay; backend có hàng đợi, worker pool, môi trường chạy chung hoặc cô lập.
- Hậu xử lý: gắn kết quả vào alert, tự tạo task hoặc pull request khắc phục; DrP Insights định kỳ xếp hạng nguyên nhân alert hay gặp nhất để chọn việc cải thiện reliability.
- Quy mô theo Meta (2025): hơn 300 team, khoảng 2.000 analyzer, 50.000 lần phân tích/ngày, chạy production hơn năm năm; MTTR giảm 20–80%.
Bài học cho SWE
- Playbook viết bằng chữ cũ đi nhanh; viết thành code thì review, test (backtest trên sự cố cũ) và tái sử dụng được (Tự động hoá vận hành và auto-remediation).
- Chạy chẩn đoán ngay khi alert bắn chuyển phần đầu của điều tra từ người sang máy, rút ngắn khoảng từ phát hiện tới chẩn đoán (Xử lý sự cố và on-call).
- Dữ liệu observability có giá trị khi có người hỏi nó đúng câu; analyzer là cách lưu lại câu hỏi đúng (Observability và monitoring).
Liên quan
Được nhắc tới trong
Chủ đề (3)
Công ty (1)
Bài tóm tắt (4)