From Monitoring to Observability: Our Ultra-Marathon to a Cloud-Native Platform

Uber · 2026 · 4. Điều chỉnh · Độ khó: Dễ — bài gốc

Phạm vi là mạng nội bộ công ty (CorpNet: văn phòng, datacenter, thiết bị mạng, cảm biến), không phải telemetry của sản phẩm. Bài nhiều ẩn dụ, ít số liệu; phần AI (chatbot, AIOps) tóm tắt ngắn.

Bối cảnh

• Hệ giám sát cũ là một khối thương mại: chắc chắn nhưng chậm, khó mở rộng, phí license định kỳ.

Thay đổi chính

• Stack mã nguồn mở trên Kubernetes, triển khai theo ba vùng (USC, EMEA, APAC) để probe gần thiết bị: Telegraf thu (SNMP, API, MQTT), Prometheus + Thanos lưu (ngắn hạn + dài hạn, query toàn cục), Grafana và Kibana hiển thị, Elasticsearch cho metadata và tìm kiếm.
• Dynamic Config App: trước đây poller Telegraf dùng file cấu hình tĩnh, mỗi thiết bị thêm/bớt/đổi vùng/vào bảo trì là sửa tay. Nay inventory (nguồn sự thật ServiceNow, đồng bộ vào Elasticsearch) sinh cấu hình qua URL có bộ lọc (ví dụ /v1/snmp/cisco?region=EMEA); Telegraf định kỳ kiểm Last-Modified và tự nạp lại. Chia lại tải poll giữa vùng, đổi plugin toàn cầu mà không redeploy agent.
• Alert Ingestion App (FastAPI, Celery, Redis): nhận alert từ Prometheus và webhook bên thứ ba (Meraki, HPE Mist...), xử lý bất đồng bộ, lọc và ưu tiên, gom alert giống nhau để tránh bão alert, thêm ngữ cảnh, đăng một lần rồi sửa tin khi trạng thái đổi (Slack/PagerDuty không bị trùng); mọi alert (đang bắn và đã đóng) vào một index Elasticsearch để lần lại một sự cố từ đầu tới cuối.
• Dữ liệu alert lịch sử nuôi phân tích AIOps và một bot Slack trả lời câu hỏi kiểu "alert của site này 24 giờ qua thế nào".
• Kết quả theo bài: chẩn đoán nhanh hơn; bỏ được hàng trăm nghìn USD phí license định kỳ.

Vì sao

• Cấu hình giám sát sinh từ inventory thay vì viết tay là cách duy nhất theo kịp một môi trường thay đổi liên tục (Observability và monitoring).

Bài học cho SWE

• Cho agent thu thập tự kéo cấu hình từ nguồn sự thật (inventory) và tự nạp lại.
• Gom alert ở một tầng nhập chung trước khi tới kênh người đọc: khử trùng, cập nhật trạng thái tại chỗ, lưu lịch sử.

Liên quan

• Uber 2026 · Loveholidays 2021 · Goldman Sachs 2023
• Observability và monitoring