Tìm kiếm
23 kết quả cho “Incident process”. Tìm không phân biệt dấu.
- Triggered: Incident #1234 (incident process needs fixing) Bài tóm tắt · PayPal · 2021
…hó: Dễ — [bài gốc](https://medium.com/paypal-tech/triggered-incident-1234-incident-process-needs-fixing-2a09dbac9edd) Bài trên blog PayPal Tech, do một Agile Coach kể. Bài không nê…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
…Độ khó: Trung bình — [bài gốc](https://gocardless.com/blog/incident-review-api-and-dashboard-outage-on-10th-october/) Bối cảnh - Dữ liệu quan trọng nhất nằm trên Postgres 3 node :…
- Scaling our on-call process Bài tóm tắt · Monzo · 2022
…ản phẩm), làm điểm leo thang cho team. - Thêm vai technical incident manager : nhóm lãnh đạo kỹ thuật được huấn luyện xử lý sự cố lớn, có quan hệ rộng trong tổ chức để thông tin ch…
- Incident review: Service outage on 25 October 2020 Bài tóm tắt · GoCardless · 2020
…Độ khó: Trung bình — [bài gốc](https://gocardless.com/blog/incident-review-service-outage-on-25-october-2020/) Bối cảnh - GoCardless quản lý secret bằng HashiCorp Vault chạy trên…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
Voyager On-Call: lịch trực cho app flagship (web, Android, iOS, frontend API). Người trực lo site chạy và giữ cho trunk và pipeline deploy khoẻ. Mỗi tuần một nhóm mới: một engineer mỗi nền tảng, kèm người của…
- Report on our investigation of the 2025-10-20 incident in AWS us-east-1 Bài tóm tắt · PlanetScale · 2025
…cao — [bài gốc](https://planetscale.com/blog/aws-us-east-1-incident-2025-10-20) Bối cảnh - 20/10/2025, AWS us-east-1 gặp sự cố lớn bắt đầu từ cấu hình DNS sai ở một nhà cung cấp.…
- Three months, 30x demand: How we scaled Google Meet during COVID-19 Bài tóm tắt · Google · 2020
…ngày . - Không có sự cố đang diễn ra, nhưng họ vẫn khai báo incident cho một rủi ro năng lực toàn cầu, trong lúc cả team chuyển sang làm từ xa. Cách tổ chức - Incident Commander, C…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- PayPal Công ty Thành viên
Nguồn đầu tiên của PayPal trong wiki là về tổ chức: các team sản phẩm tự chủ cao, không có cơ quan trung tâm quy định quy trình. Từ cuối 2019 một nhóm tình nguyện liên phòng ban định nghĩa thế nào là sự cố, mức nghiêm…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Troubleshooting: A journey into the unknown Bài tóm tắt · Booking.com · 2017
Distributed Load Balancing (DLB) của Booking: các server nối thẳng Internet, dual-home, peer BGP với switch hai phía, chia traffic bằng ECMP; anycast-healthchecker rút route khi service hỏng; BFD gửi hello UDP mỗi 400…
- Outage post-mortem Bài tóm tắt · Dropbox · 2014
Dropbox chạy hàng nghìn database, mỗi DB một master và hai replica, cộng backup full và incremental ở môi trường riêng. Các DB này giữ metadata cho tính năng (chia sẻ album, camera upload, một số API), không giữ nội…
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
2021: hơn 400 triệu người dùng và merchant đang hoạt động, vài nghìn giao dịch thanh toán mỗi giây. Quan hệ giữa tài khoản (cùng IP, cùng thiết bị, cùng hộ gia đình, trả tiền cho nhau) là tín hiệu rủi ro mạnh, nhưng…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
Risk platform là môi trường ML production lớn nhất của PayPal, chống gian lận theo thời gian thực. Vì yêu cầu quản lý (quan trọng, chính xác, công bằng), model và feature phụ thuộc phải đi qua CI/CD và được thử ở môi…
- Cut-over logic in vitess schema migrations Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
Online DDL (pt-online-schema-change, fb-osc, gh-ost, Vitess): tạo bảng bóng với schema mới, chép dữ liệu, bắt kịp thay đổi, rồi cut-over: đổi tên bảng gốc đi và đưa bảng bóng vào chỗ.