Scaling our on-call process

Monzo · 2022 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bài thứ ba của Monzo về on-call (trước đó 2018 và 2020). Thay đổi bắt đầu đầu năm 2021.

Bối cảnh

Mô hình cũ (khoảng 50 engineer): một nhóm trực tuyến đầu gồm primary và shadow. Nhóm này nhận mọi alert, tự sửa hoặc tìm team có thể sửa; sau lưng là các nhóm chuyên gia làm điểm leo thang (ví dụ một hệ thanh toán cụ thể).
Khi lên hơn 100 engineer (rồi 150+), mô hình bắt đầu kẹt:
- lịch primary trở thành điểm nghẽn giữa alert và team có đủ bối cảnh để sửa;
- team Platform trực primary trong giờ hành chính, chịu áp lực ngày càng lớn;
- tổ chức phụ thuộc vào hai, ba người cho on-call chạy được;
- mỗi service quan trọng mới lại phải huấn luyện người trực primary, nên ngưỡng vào lịch primary tăng gần như hằng tuần, khó tuyển đủ người.

Phi tập trung: bỏ tầng primary/chuyên gia; alert được định tuyến thẳng tới team sở hữu, mỗi team trực cho hệ của mình.
Team Platform cung cấp khung chung: monitoring, alerting và định tuyến alert, để team nào cũng trực được dễ dàng.
Engineering manager chịu trách nhiệm lịch trực của team: đủ người, nghỉ bù sau khi bị page đêm, giảm việc trong tuần trực, chỉnh ngưỡng alert theo nhu cầu (ví dụ siết lại khi ra mắt sản phẩm), làm điểm leo thang cho team.
Thêm vai technical incident manager: nhóm lãnh đạo kỹ thuật được huấn luyện xử lý sự cố lớn, có quan hệ rộng trong tổ chức để thông tin chảy nhanh; người trực gọi được họ 24/7 qua công cụ sự cố.
Chạy retro định kỳ cho quy trình on-call.

Theo Monzo: team trực cho hệ của mình thì nhận phản hồi trực tiếp về độ tin cậy, và có động lực sửa để đồng nghiệp không bị page đêm.
Quy trình tập trung khiến on-call bị coi là việc của trung tâm, không phải của team sở hữu.

Mô hình "một nhóm trực tuyến đầu cho mọi thứ" có trần: số service tăng làm kiến thức cần có tăng theo, đến lúc không ai đủ (Xử lý sự cố và on-call).
Phi tập trung on-call cần một nền tảng định tuyến alert tốt; chính nền tảng mới làm việc trao quyền khả thi (Nền tảng nội bộ cho service (đường ray chung)).
Phi tập trung phần sửa nhưng vẫn giữ một nhóm chỉ huy sự cố chung cho sự cố lớn.