Add-Ons Outage Post-Mortem Result

Mozilla · 2019 · 4. Điều chỉnh · Độ khó: Dễ — bài gốc

Bài tóm tắt kết quả postmortem (do CTO Firefox viết); chi tiết nằm trong hai báo cáo trên wiki của Mozilla. Sự cố nằm ở phía client (add-on của Firefox bị vô hiệu hoá). Wiki giữ bài này vì bài học về tổ chức và phát hành bản vá.

Bối cảnh

Đầu 5/2019, chứng chỉ trung gian dùng để ký add-on hết hạn, làm add-on trên rất nhiều bản Firefox bị vô hiệu hoá.

Kết quả postmortem (theo Mozilla)

• Nguyên nhân gốc không chỉ là "quên gia hạn":
  • team phụ trách hệ thống ký biết chứng chỉ sắp hết hạn, nhưng tin (sai) rằng Firefox bỏ qua ngày hết hạn;
  • hiểu nhầm này đến từ một sự cố trước đó, khi kiểm tra chứng chỉ end-entity bị tắt, gây lẫn lộn về chứng chỉ trung gian;
  • kế hoạch QA không có kịch bản test chứng chỉ hết hạn.
• Phát hành bản vá:
  • kênh nhanh nhất là hệ thống Studies (Normandy), kiểm tra mỗi 6 giờ, nhanh hơn Balrog (12 hoặc 24 giờ, chính họ cũng nhầm con số) và bản dot release;
  • nhưng Studies vốn dành cho thí nghiệm và gắn với Telemetry, nên một số user phải bật Telemetry mới nhận được bản vá, khiến Mozilla thu thừa dữ liệu rồi phải dọn.
• Bản vá không trọn: trong vài tuần ra 8 phiên bản system add-on và 6 dot release: có cái do nền tảng cũ cần bản riêng, có cái do lỗi của chính bản vá trước. Áp lực khẩn cấp cộng thiếu QA điều phối làm test kém kỹ.

Hành động

• Tài liệu và truyền đạt tốt hơn về các phần này của hệ thống, đưa vào kế hoạch kỹ thuật và QA.
• Một kênh cập nhật nhanh cho mọi user bật tự động cập nhật, không gắn với Telemetry/Studies.
• Trong sự cố, ngoài quản lý, kỹ sư, vận hành thì phải có QA để test các bản vá.

Bài học cho SWE

• Postmortem đi sâu sẽ thấy hiểu nhầm có hệ thống (team biết nhưng tin sai), không chỉ "ai đó quên". Một quyết định trong sự cố cũ có thể gieo hiểu nhầm cho sự cố mới.
• Kênh triển khai bản vá khẩn cấp phải có sẵn trước khi cần, và nhanh ngang kênh nhanh nhất (Deploy và release an toàn).
• Vá vội cũng là một thay đổi rủi ro: cần người test cả trong lúc khẩn cấp, cùng bài học "vá có thể làm tệ hơn" của Cloudflare (Cloudflare 2025).
• Cùng họ sự cố chứng chỉ: GoCardless 2020 (GoCardless 2020).

Liên quan

• Sự cố và postmortem
• Deploy và release an toàn