Tìm kiếm
14 kết quả cho “ChatOps”. Tìm không phân biệt dấu.
- Implementing ChatOps into our Incident Management Procedure Bài tóm tắt · Shopify · 2018
…hó: Dễ — [bài gốc](https://shopify.engineering/implementing-chatops-into-our-incident-management-procedure) Bối cảnh - Production engineer (PE) của Shopify được coi là chuyên gia x…
- Improving how we deploy GitHub Bài tóm tắt · GitHub · 2021
…ôi , và công cụ deploy cũ không còn theo kịp. - Deploy bằng chatops trong một kênh Slack ( dotcom-ops ) theo mô hình branch deploy (deploy branch rồi mới merge). Một kênh vừa quản…
- Automated Incident Management Through Slack Bài tóm tắt · Airbnb · 2022
Airbnb chạy hơn một nghìn microservice do hàng trăm team nhỏ quản lý (2022). Khi có sự cố, khó nhất là biết service nào hỏng và phải page ai.
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- GitHub Công ty Thành viên
Rails + một MySQL; sau đó tách vài tính năng, thêm replica, ProxySQL; nhưng lõi vẫn là cluster mysql1 được scale dọc liên tục. Từ 2019 họ tách ảo bằng schema domain + linter rồi dời vật lý bằng Vitess hoặc write-cutover…
- Incidents, fixes, and the day after Bài tóm tắt · Booking.com · 2017
Kỹ sư Booking.com được tự deploy thẳng lên production 24/7. Năm 2012 bộ phận còn nhỏ, vài trang wiki là đủ; đến 2017 bộ phận có gần 2.000 người trên toàn cầu, nên làm lại hướng dẫn xử lý sự cố.
- Lessons learned in incident management Bài tóm tắt · Dropbox · 2021
Dropbox cam kết SLA 99,9% với một số khách hàng (khoảng 43 phút down/tháng), mục tiêu nội bộ 99,95% (khoảng 21 phút/tháng, 2021). Muốn giữ ngân sách đó thì phải rút ngắn cả ba pha của một sự cố availability: phát hiện,…
- How GitHub uses merge queue to ship hundreds of changes every day Bài tóm tắt · GitHub · 2024
…vice khác nhau; quy trình cần logic riêng và công cụ ngoài (ChatOps, label). Thay đổi chính - Yêu cầu từ 2020: developer chỉ cần nói "tôi muốn ship" và "tôi chuyển sang việc khác";…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
Shopify chạy Airflow production hơn hai năm (2022) cho trích xuất dữ liệu, huấn luyện model, bảo trì bảng Iceberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8.