Tìm kiếm
38 kết quả cho “Runbook”. Tìm không phân biệt dấu.
- How we do On-Call Rotations Bài tóm tắt · Nubank · 2019
…hboard và công cụ điều tra dễ hiểu. - Không alert nào thiếu runbook ; runbook viết và thử với người ngoài team (người đọc đang căng thẳng; "connect vào server production" có thể vô…
- Chaos Testing an Application on AWS Bài tóm tắt · Goldman Sachs · 2022
…Resilience test làm tay thì tốn công, làm một lần rồi thôi; runbook và observability nhanh lỗi thời vì ứng dụng đổi nhanh hơn tần suất test. Thay đổi chính - Hệ cần kiểm: 7 microse…
- Stack under attack: what we learned about handling DDoS attacks Bài tóm tắt · Stack Overflow · 2022
…) càng tốt. - Sau sự cố: tự động hoá thao tác lặp lại, viết runbook cho phần chưa tự động được, và đưa việc thông báo cho user vào runbook. - Log HTTP dễ truy vấn (ở Stack Overflow…
- Triggered: Incident #1234 (incident process needs fixing) Bài tóm tắt · PayPal · 2021
…ì, trực on-call, sự cố do người dùng báo, nguyên tắc alert, runbook, trong và sau sự cố, postmortem. Cố ý giữ ở mức cao , để chi tiết kỹ thuật cho từng team, vì liệt kê hết sẽ nhan…
- Capturing Network Packets in Kubernetes Bài tóm tắt · Mercari · 2025
Mercari chạy vài trăm microservice; đội Network (thuộc Platform) thường được nhờ điều tra sự cố mạng. Theo họ, khi không còn manh mối thì bắt gói tin là cách cuối, nhưng quy trình phải định sẵn, không thì vô dụng đúng…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- A postmortem of our May 7, 2026 outage Bài tóm tắt · Coinbase · 2026
…còn lại trên sandbox). - Kafka: tìm gốc lỗi cùng AWS; tool, runbook, test cho các kiểu lỗi đã gặp và cho những điều khiển Kafka mà MSK không cho; chuyển cụm 2 AZ sang 3 AZ. - Theo…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…a là hành vi bình thường: nó chờ primary bắt đầu gửi, nhưng runbook và tài liệu không nói). Thêm hai cấu hình sai lộ ra giữa chừng ( max wal senders mặc định 3; max connections = 8…
- Nubank Công ty Thành viên
Năm 2019: thay vì mỗi team nhỏ (2–8 người) tự trực, họ gộp nhiều team vào một lịch trực chung để mỗi người trực ít ngày hơn, với điều kiện mọi alert có runbook thử với người ngoài team và không còn alert chập chờn; team…
- Atlassian Công ty Thành viên
Atlassian lên AWS năm 2016. Tenant Context Service (ánh xạ tenant → vị trí, gọi nhiều lần trong mỗi request) được tối ưu qua bốn bài học "không có phép màu": DynamoDB, load balancer, cache, client . Cùng năm 2019, nền…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…adius , không chỉ là kiểm soát chi phí. - Shard nhiều cụm + runbook failover cluster: chuyển shard (khoảng 15 phút), song song dựng cụm sạch từ IaC (khoảng 2 giờ), quá ngưỡng thì c…
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
…Úc dưới rate limit chặt, rồi tăng dần. Thay đổi sau sự cố - Runbook chặn, định tuyến lại và mở dần traffic. - Tăng số task nền và bộ nhớ mỗi task; thêm luật load shedding ở API Gat…
- Migrating 300+ namespaces from self-hosted Temporal to Temporal Cloud Bài tóm tắt · Coinbase · 2026
…uyệt nhà cung cấp). Theo Coinbase đây là điều hữu ích nhất: runbook, dashboard, cơ chế rollback được kiểm trên traffic thật trước khi có vendor; pha 2 (Aurora → Cloud) gần như chỉ…
- Using Fault Injection Testing to Improve DoorDash Reliability Bài tóm tắt · DoorDash · 2022
…ơn đồ ăn. Chạy chaos ở staging thì hợp để tập dượt on-call, runbook, nhưng thí nghiệm do người tự nghĩ ra và chọn ngẫu nhiên dễ bỏ sót đúng lỗi gây sự cố, và chỉ nhìn được "service…
- Scaling Etsy Payments with Vitess: Part 3 – Reducing Cutover Risk Bài tóm tắt · Etsy · 2023
…ược về DB chưa shard thì vi phạm. Có alert page khi hỏng và runbook sửa (xoá dòng hoặc bỏ qua vị trí trong vt.vreplication ); production không hỏng. Sau mới biết Vitess có cách ép…
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…đều phải đồng thời. Bài học cho SWE - Theo GitLab: không có runbook cho tình huống "hàng trăm node phải đổi một thiết lập và kết nối lại trong vài giây"; không có lối tắt nào thay…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
…tomation chạy tốt 2 năm thì kỹ năng thao tác tay teo đi, và runbook không dùng nhiều năm chắc chắn lỗi thời. Ý tưởng: game day có ràng buộc kiểu "automation hỏng rồi, phục hồi bằng…
- Goldman Sachs Công ty Thành viên
Mảng Transaction Banking phải chứng minh với cơ quan quản lý rằng hệ thống chạy tiếp khi mất region. Với RDS Oracle và Aurora PostgreSQL, họ chọn ứng dụng active/passive, replication bất đồng bộ và tự xây công cụ…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…u kiện để nhiều DBMS dùng chung một nền (). - Operator biến runbook thành vòng reconcile; lợi ích vận hành đến từ trạng thái khai báo nhìn thấy được (). - Ở quy mô gộp hai cloud, m…
- Improving Resiliency and Stability of a Large-scale Monolithic API Service Bài tóm tắt · LinkedIn · 2017
…chạy nguyên bản monolith . - Quy trình cho từng vertical: - runbook và lịch mẫu cho team infra, SRE, team vertical; - build sinh thêm một deployable mang tên vertical, với config k…
- 2026 World Cup: record traffic, reliability at scale Bài tóm tắt · Meta · 2026
…dữ liệu; cảnh báo sớm trước khi chạm ngưỡng. Tất cả nay là runbook dùng lại (Olympic 2028). - WhatsApp: hơn 100 service nội bộ được load test và chỉnh kích thước trước giải, rồi t…
- Ensuring Quora's Resilience to Disaster Bài tóm tắt · Quora · 2016
…thể khôi phục bảng quan trọng trước. Bài học (theo Quora) - Runbook tập trung cứu nhiều thời gian, vì người restore một tầng thường không phải người vận hành tầng đó. - Giới hạn ẩn…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…ter ra Prometheus và dashboard lag theo topic/consumer; gộp runbook thành một trang, dashboard thành một. Ít phải SSH vào broker hơn, cũng tốt cho bảo mật. - Nâng cấp bằng cutover,…
- Alerting on Service-Level Objectives (SLOs) Bài tóm tắt · SoundCloud · 2019
…(pod Kubernetes...) đều có nhãn system . Mỗi alert có link runbook. Vì sao - Burn rate cho page nhanh khi ngân sách cháy nhanh, ticket khi cháy chậm: không bỏ sót, không đánh thức…
- Stack Overflow Công ty Thành viên
Phản ví dụ nên đọc sớm cho niềm tin "lớn thì phải scale out". Năm 2009, với 16 triệu page view mỗi tháng, Stack Overflow chạy hai web server và một SQL Server, chạm giới hạn thì nâng RAM; theo Jeff Atwood, phần cứng rẻ…
- How Stripe uses graph search and state machines to auto-remediate a global database fleet Bài tóm tắt · Stripe · 2026
…blue-green khi nâng version, gộp bảo trì. Bài học cho SWE - Runbook mã hoá cách khôi phục đã biết; state machine + tìm đường tìm ra cách khôi phục mới. Định nghĩa bất biến và thao…
- Upgrading a 56TB database that's growing at 250GB per day with (nearly) no downtime Bài tóm tắt · Trigger.dev · 2026
…lập mọi phụ thuộc, 124 kiểm tra preflight, chế độ diễn tập, runbook. Khối finally bảo đảm thất bại thì PgBouncer trỏ về Aurora rồi mới thả kết nối. - Cutover lần 1 (26/7) thất bại:…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…shard đó đứng yên tới khi người trực thức dậy, vào VPN, đọc runbook, tìm replica cùng shard, promote, đưa vào load balancer, dựng replica mới. Mất 20 phút trở lên và dễ sai. Thay đ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…, backfill và sửa tự động biến phục hồi từ nhiều ngày thành runbook. - Hướng tiếp: IngestionNext chuyển ingest batch → streaming, ghi checkpoint ID của Flink vào commit metadata để…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…Giới hạn query ở phía ứng dụng với ngưỡng chỉnh được động; runbook đặt search.max buckets toàn cụm. - Playbook phân biệt tải đọc cao, tải ghi cao, và chặn client hành xử sai. Bài…