Tìm kiếm
15 kết quả cho “Incident playbook”. Tìm không phân biệt dấu.
- How we manage our 1200 incident playbooks Bài tóm tắt · Zalando · 2023
…ngineering.zalando.com/posts/2023/01/how-we-manage-our-1200-incident-playbooks.html) Bối cảnh - Zalando gom playbook sự cố về một chỗ vào 9/2019 , khi chuẩn bị Cyber Week. Đến 2023…
- Lessons learned in incident management Bài tóm tắt · Dropbox · 2021
…gốc](https://dropbox.tech/infrastructure/lessons-learned-in-incident-management) Bối cảnh - Dropbox cam kết SLA 99,9% với một số khách hàng (khoảng 43 phút down/tháng), mục tiêu nộ…
- Engineering operational excellence, a case of continuous improvement Bài tóm tắt · Nubank · 2023
Nubank (2023) có stack đồng nhất: hàng nghìn service Clojure trên Kafka, Datomic, DynamoDB; app Flutter; pipeline dữ liệu Scala. Engineer sản phẩm vừa làm tính năng vừa lo job nền, tích hợp đối tác, hỗ trợ khách, debug,…
- DrP: Meta's Root Cause Analysis Platform at Scale Bài tóm tắt · Meta · 2025
Theo Meta, điều tra sự cố bằng tay ở hệ lớn dựa vào playbook cũ và script tự viết, kéo dài downtime và làm người trực mệt.
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
Văn hoá postmortem của Zalando theo sách SRE của Google: team phụ trách làm RCA và hành động phòng ngừa, sự cố chỉ đóng khi lãnh đạo (tới VP Engineering tuỳ mức) ký; bài học đi lên qua họp vận hành hằng tuần.
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
Voyager On-Call: lịch trực cho app flagship (web, Android, iOS, frontend API). Người trực lo site chạy và giữ cho trunk và pipeline deploy khoẻ. Mỗi tuần một nhóm mới: một engineer mỗi nền tảng, kèm người của…
- How we do On-Call Rotations Bài tóm tắt · Nubank · 2019
Đo chất lượng trực bằng MTTA (sức khoẻ của lịch trực) và MTTR (chất lượng công cụ và tài liệu). Tự nhiên nhất là team xây hệ nào trực hệ đó, nhưng team chỉ 2–8 người nên mỗi người trực nhiều ngày mỗi tháng, mà trực thì…