Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix

Netflix · 2020 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

Netflix theo mô hình service ownership ("full cycle developer"): team vận hành cái mình xây; phần lớn lỗi được team sở hữu bắt trước khi khách thấy.
Vẫn cần một bên lo độ tin cậy của toàn bộ dịch vụ: team CORE (Critical Operations and Reliability Engineering) gồm SRE, Applied Resilience Engineer và Performance Engineer.

Khác phần lớn team SRE: CORE không sở hữu service nào phục vụ khách, không thường xuyên sửa code production, không xây hạ tầng, không nhúng vào team service.
CORE cấu hình và trực các alert trên KPI kinh doanh cấp cao (ví dụ số lượt bắt đầu stream mỗi giây). Alert kêu thì người trực CORE đánh giá phạm vi, xác định service liên quan, gọi team sở hữu, rồi làm Incident Manager.
Incident Manager làm hoặc giao: điều phối, ra quyết định (ví dụ có sơ tán một region không), ghi chép, hỗ trợ điều tra kỹ thuật, liên lạc với các bộ phận khác. Không theo mô hình ITIL.
Sau sự cố: hầu hết đi qua bước "memorialization" (viết lại diễn biến, giảm thiểu, việc tiếp theo); sự cố đặc biệt có Incident Review hoặc điều tra dài. Phân tích tập trung vào khía cạnh sociotechnical, chia sẻ ra ngoài nhóm liên quan.
Ngoài giờ trực: sửa dashboard, alert, automation; tư vấn độ tin cậy (kiến trúc, observability, sức khoẻ on-call); cùng các team tìm và sửa rủi ro hệ thống mà sự cố lộ ra; xây công cụ sự cố.

Theo Netflix: tập trung riêng vào độ tin cậy cho CORE băng thông để vừa chủ động tìm rủi ro vừa phản ứng; góc nhìn toàn hệ giúp thấy rủi ro hệ thống đang hình thành; là team trung tâm nên chia sẻ bài học và tư vấn cho cả tổ chức dễ hơn.

"Team tự trực" và "một nhóm trung tâm" không loại trừ nhau: team sở hữu bắt lỗi của service, nhóm trung tâm canh tín hiệu kinh doanh và chỉ huy sự cố liên team (Xử lý sự cố và on-call).
Alert trên KPI kinh doanh bắt được những gì alert từng service bỏ sót.
Postmortem nên nhìn cả con người và tổ chức, không chỉ máy.

Mô hình tổ chức SRE
Netflix 2011 · Netflix 2016 · Netflix 2018
So với Mercari 2022 (SRE nhúng vào team) và Booking.com 2019 (mức hỗ trợ theo độ quan trọng)
Monzo 2022 (alert về team sở hữu, giữ nhóm technical incident manager chung)
Xử lý sự cố và on-call