Basecamp 2 and Basecamp 3 search outage report

Basecamp · 2019 · 3. Quy mô lớn · Độ khó: Cơ bản — bài gốc

Báo cáo gửi khách kèm timeline cập nhật theo giờ; không nêu tên nhà cung cấp hay nguyên nhân gốc.

Bối cảnh

Basecamp 2 và tính năng search của Basecamp 3 phụ thuộc vào các kết nối mạng tới một nhà cung cấp cloud.

Từ 4:30 GMT ngày 7/3 tới 13:02 GMT, sự cố mạng phía nhà cung cấp làm mất cả đường chính, đường dự phòng và vài đường tạm dựng thêm giữa các service; Basecamp 2 và search của Basecamp 3 gần như offline khoảng 8,5 giờ, đúng giờ làm việc châu Âu.
Đội dựng đường dự phòng thứ hai (sống vài phút), thứ ba (chạy chập chờn), rồi liên tục mất lại khi nhà cung cấp tự rút các thành phần để xử lý; nhiều giờ chỉ chờ.
Ngày hôm sau, thay đổi để phòng lặp lại gây lỗi đăng ảnh khoảng một giờ.

Theo Basecamp (DHH), dù nguyên nhân ở nhà cung cấp, cách họ kiến trúc và chuẩn bị là lỗi của họ; họ học được giới hạn của đường dự phòng, kể cả dự phòng kép, và sẽ đổi cách làm việc với nhà cung cấp cloud.

Dự phòng cùng đi qua một nhà cung cấp không chống được sự cố của chính nhà cung cấp đó.
Trang lỗi thân thiện trỏ về status page và kênh cập nhật là một phần của xử lý sự cố.