Tìm kiếm
25 kết quả cho “Playbook”. Tìm không phân biệt dấu.
- How we manage our 1200 incident playbooks Bài tóm tắt · Zalando · 2023
…g.zalando.com/posts/2023/01/how-we-manage-our-1200-incident-playbooks.html) Bối cảnh - Zalando gom playbook sự cố về một chỗ vào 9/2019 , khi chuẩn bị Cyber Week. Đến 2023: hơn 1.2…
- Engineering operational excellence, a case of continuous improvement Bài tóm tắt · Nubank · 2023
…Lập kế hoạch: mỗi tính năng có SLI/SLO từ lúc thiết kế, kèm playbook và dashboard; metric và dashboard mặc định có sẵn nên chi phí thấp. - Vận hành: trực theo tuần (đổi ca trưa thứ…
- DrP: Meta's Root Cause Analysis Platform at Scale Bài tóm tắt · Meta · 2025
…cảnh - Theo Meta, điều tra sự cố bằng tay ở hệ lớn dựa vào playbook cũ và script tự viết , kéo dài downtime và làm người trực mệt. Thay đổi chính - DrP : nền tảng để viết playbook…
- How We Upgrade Kubernetes on GKE Bài tóm tắt · Gojek · 2020
…người tuần trước dẫn việc nâng cấp và truyền bối cảnh; theo playbook, mỗi tuần ra thêm một cải tiến, automation hay tài liệu; có thời gian dev dành riêng trong sprint. Vì sao - The…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Embedded SRE at Mercari Bài tóm tắt · Mercari · 2022
…backup và khôi phục, observability, on-call và xử lý sự cố, playbook. Mục tiêu đặt bằng OKR: team sản phẩm có KR về độ tin cậy (đặt SLI/SLO và dùng trong quyết định sản phẩm), SRE…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…nh thường, tức cô lập theo nhóm thị trường đã hoạt động . - Playbook đầu tiên (cache lâu hơn, tắt request không thiết yếu, hạ ngưỡng ngắt query dài, scale coordinator và data node)…
- Lessons learned in incident management Bài tóm tắt · Dropbox · 2021
…iễn tập; lập Backup Response Team gồm IMOC/TLOC cấp cao với playbook rõ khi nào nhận lại chỉ huy. Phục hồi - "Luật 20 phút" : đánh giá rủi ro hằng quý, hỏi mỗi team "kịch bản nào c…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…bịa cả một sự cố DynamoDB vì chữ DynamoDB có trong tiêu đề playbook được link), prompt chặt + người kiểm còn dưới 15%, model lớn thì gần như hết; surface attribution error (gán cô…
- Gojek Công ty Thành viên
Dịch vụ tìm tài xế của Gojek đi từ Postgres (không chịu được vị trí cập nhật liên tục) sang Redis, rồi khi GoFood và Logistics tăng trưởng thì phải scale ngang: đẩy đọc sang replica nhờ lệnh EVALRO họ đề xuất cho Redis,…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
…ụ: SRE riêng của Voyager nhận hỗ trợ công cụ deploy và viết playbook; team Productivity nhận vấn đề thời gian build. Một đầu mối duy nhất giúp không báo trùng lỗi cho team Foundati…
- Nubank Công ty Thành viên
Năm 2019: thay vì mỗi team nhỏ (2–8 người) tự trực, họ gộp nhiều team vào một lịch trực chung để mỗi người trực ít ngày hơn, với điều kiện mọi alert có runbook thử với người ngoài team và không còn alert chập chờn; team…
- How we do On-Call Rotations Bài tóm tắt · Nubank · 2019
Đo chất lượng trực bằng MTTA (sức khoẻ của lịch trực) và MTTR (chất lượng công cụ và tài liệu). Tự nhiên nhất là team xây hệ nào trực hệ đó, nhưng team chỉ 2–8 người nên mỗi người trực nhiều ngày mỗi tháng, mà trực thì…
- Best Practices for Real-time Machine Learning: Alerting Bài tóm tắt · Nubank · 2022
…g chỉ "giá trị là 250". - Hành động được: kèm link tới DLQ, playbook, cấu hình scale, feature flag hay kênh Slack. - Dễ chỉnh: alert của model sẽ lỗi thời khi phân phối đổi, thành…
- How Ansible Automation Powers the Uber Corporate Network at a Global Scale Bài tóm tắt · Uber · 2026
…cho cả Juniper lẫn Cisco. - Daily Nightly Enforcement , ba playbook mỗi đêm cho từng vùng: backup cấu hình đang chạy của mọi thiết bị lên repo GitHub riêng (theo dõi chênh lệch, l…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…uá tải lúc đỉnh, failover và retry storm, và là công cụ của playbook sự cố (áp limit có mục tiêu lên caller hay procedure trong vài giây, không deploy). Quy mô: khoảng 80 triệu req…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…Elasticsearch buổi sáng, rồi tự đóng trước khi kịp làm theo playbook. Đêm trước, cụm kẹt ở 7 node thay vì 6: StatefulSet luôn bỏ pod số lớn nhất, mà pod đó lại là node duy nhất ở e…