Tìm kiếm
13 kết quả cho “Playbook as code”. Tìm không phân biệt dấu.
- How we manage our 1200 incident playbooks Bài tóm tắt · Zalando · 2023
…g.zalando.com/posts/2023/01/how-we-manage-our-1200-incident-playbooks.html) Bối cảnh - Zalando gom playbook sự cố về một chỗ vào 9/2019 , khi chuẩn bị Cyber Week. Đến 2023: hơn 1.2…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…Elasticsearch buổi sáng, rồi tự đóng trước khi kịp làm theo playbook. Đêm trước, cụm kẹt ở 7 node thay vì 6: StatefulSet luôn bỏ pod số lớn nhất, mà pod đó lại là node duy nhất ở e…
- DrP: Meta's Root Cause Analysis Platform at Scale Bài tóm tắt · Meta · 2025
…cảnh - Theo Meta, điều tra sự cố bằng tay ở hệ lớn dựa vào playbook cũ và script tự viết , kéo dài downtime và làm người trực mệt. Thay đổi chính - DrP : nền tảng để viết playbook…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
…ụ: SRE riêng của Voyager nhận hỗ trợ công cụ deploy và viết playbook; team Productivity nhận vấn đề thời gian build. Một đầu mối duy nhất giúp không báo trùng lỗi cho team Foundati…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…uá tải lúc đỉnh, failover và retry storm, và là công cụ của playbook sự cố (áp limit có mục tiêu lên caller hay procedure trong vài giây, không deploy). Quy mô: khoảng 80 triệu req…