Tìm kiếm
20 kết quả cho “Incident manager”. Tìm không phân biệt dấu.
- Implementing ChatOps into our Incident Management Procedure Bài tóm tắt · Shopify · 2018
…](https://shopify.engineering/implementing-chatops-into-our-incident-management-procedure) Bối cảnh - Production engineer (PE) của Shopify được coi là chuyên gia xử lý sự cố, nhưng…
- Automated Incident Management Through Slack Bài tóm tắt · Airbnb · 2022
…ộ khó: Dễ — [bài gốc](https://medium.com/airbnb-engineering/incident-management-ae863dc5d47f) Bối cảnh - Airbnb chạy hơn một nghìn microservice do hàng trăm team nhỏ quản lý (2022)…
- A deeper dive into our May 2019 security incident Bài tóm tắt · Stack Overflow · 2021
…ow.blog/2021/01/25/a-deeper-dive-into-our-may-2019-security-incident/) Bối cảnh - Ngày 12/5/2019, cộng đồng báo một tài khoản lạ có quyền moderator và developer trên toàn mạng Stac…
- Incident review: Service outage on 25 October 2020 Bài tóm tắt · GoCardless · 2020
…Độ khó: Trung bình — [bài gốc](https://gocardless.com/blog/incident-review-service-outage-on-25-october-2020/) Bối cảnh - GoCardless quản lý secret bằng HashiCorp Vault chạy trên…
- Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix Bài tóm tắt · Netflix · 2020
…ạm vi, xác định service liên quan, gọi team sở hữu, rồi làm Incident Manager . - Incident Manager làm hoặc giao: điều phối, ra quyết định (ví dụ có sơ tán một region không), ghi ch…
- Open Sourcing Iris and Oncall Bài tóm tắt · LinkedIn · 2017
…chính - Iris (hè 2015): hệ escalation tự động. Ứng dụng tạo incident qua REST API; Iris gửi tin theo escalation plan gồm nhiều bước (gửi song song cho team và người trực, lặp lại c…
- Scaling our on-call process Bài tóm tắt · Monzo · 2022
…ản phẩm), làm điểm leo thang cho team. - Thêm vai technical incident manager : nhóm lãnh đạo kỹ thuật được huấn luyện xử lý sự cố lớn, có quan hệ rộng trong tổ chức để thông tin ch…
- How we built Status Page Bài tóm tắt · GitLab · 2020
Sự cố của GitLab.com được xử lý trong issue của một project công khai; người trực tự đăng cập nhật lên status.gitlab.com mỗi 15 phút. Người xử lý mất thời gian đổi công cụ và chép lại thông tin.
- How we do On-Call Rotations Bài tóm tắt · Nubank · 2019
Đo chất lượng trực bằng MTTA (sức khoẻ của lịch trực) và MTTR (chất lượng công cụ và tài liệu). Tự nhiên nhất là team xây hệ nào trực hệ đó, nhưng team chỉ 2–8 người nên mỗi người trực nhiều ngày mỗi tháng, mà trực thì…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
Voyager On-Call: lịch trực cho app flagship (web, Android, iOS, frontend API). Người trực lo site chạy và giữ cho trunk và pipeline deploy khoẻ. Mỗi tuần một nhóm mới: một engineer mỗi nền tảng, kèm người của…
- Monitoring Reliably at Scale Bài tóm tắt · Airbnb · 2026
Airbnb có hơn 1.000 service chạy trên hạ tầng chung (Kubernetes, service mesh Istio). Team Observability (nhỏ) dựng metrics platform trên chính những nền tảng đó, nên có phụ thuộc vòng: hệ để phát hiện sự cố hạ tầng lại…
- Building Multi-Region Resiliency with Amazon RDS and Amazon Aurora Bài tóm tắt · Goldman Sachs · 2021
Mảng Transaction Banking của Goldman Sachs phải chứng minh với cơ quan quản lý và kiểm toán rằng hệ thống vẫn chạy khi mất cả một vùng địa lý hoặc khi nhà cung cấp cloud sự cố lớn.
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
2019: hơn 1,5 triệu đêm phòng/ngày, 50.000+ server vật lý ở 4 data center và 6 PoP. Quy mô đủ để có team reliability riêng cho từng nền tảng lớn.
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…