Tự động hoá vận hành và auto-remediation

Bài toán

Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần người trực mất 15 phút sắp thao tác rồi có khi 3 giờ chờ rebuild Stripe 2026. Lời giải là để máy tự phát hiện và tự sửa: failover tự động, health check rồi thay node, operator reconcile trạng thái, autoscaler, tự cân bằng cụm.

Nhưng tự động hoá là một hệ thống nữa, có quyền hành động trên production. Nó có thể không làm gì đúng lúc cần (GoCardless), làm đúng việc nhưng khuếch đại sự cố (OpenAI xoá hết worker), hoặc giẫm lên một tự động hoá khác (Monzo, Zalando, Yelp). Trang này nói về cả hai mặt.

Khác với Độ tin cậy và multi-region (kiến trúc dự phòng) và Deploy và release an toàn (đưa thay đổi của người lên production), trang này nói về hành động máy tự làm khi hệ lệch khỏi trạng thái mong muốn.