Tìm kiếm
40 kết quả cho “Deploy incident”. Tìm không phân biệt dấu.
- Incidents, fixes, and the day after Bài tóm tắt · Booking.com · 2017
…ay-after-c5d9aeae28c3) Bối cảnh - Kỹ sư Booking.com được tự deploy thẳng lên production 24/7. Năm 2012 bộ phận còn nhỏ, vài trang wiki là đủ; đến 2017 bộ phận có gần 2.000 người tr…
- Implementing ChatOps into our Incident Management Procedure Bài tóm tắt · Shopify · 2018
…cân lại traffic, failover data center, blackhole job, khoá deploy. Ai cũng thấy thao tác nào đã chạy. - spy incident stop sinh tài liệu gián đoạn dịch vụ từ các ghi chú gắn emoji…
- Triggered: Incident #1234 (incident process needs fixing) Bài tóm tắt · PayPal · 2021
…đa chức năng, tự chủ cao , sở hữu tính năng từ frontend đến deploy. Mặt trái: mỗi team có văn hoá và cách làm riêng, không có cơ quan trung tâm quy định quy trình. - Cuối 2019, tác…
- Lessons learned in incident management Bài tóm tắt · Dropbox · 2021
…exception, QPS, host bất thường, top client), có chú thích deploy trên Grafana. - Vai trò IMOC bị hiểu sai dần: biết quy trình nhưng không chắn nhiễu cho đội kỹ thuật. Sửa bằng hu…
- A deeper dive into our May 2019 security incident Bài tóm tắt · Stack Overflow · 2021
…t tiêm lúc build sang kho secret lúc chạy ; tách build khỏi deploy (GitHub Actions tạo artifact, Octopus Deploy triển khai) thay cho TeamCity vừa build vừa deploy; SSO + 2FA cho dị…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…người làm model tự đưa model từ model store vào, chọn lịch deploy; có lịch đặt chỗ môi trường shadow cho từng thành viên với thời lượng cấu hình được; cấu hình lấy mẫu traffic từ…
- Incident Report: March 30th, 2026 — Authenticated user data cached Bài tóm tắt · Railway · 2026
…nào ghi rõ header cache thì an toàn hơn. - Timeline: 10:42 deploy → 11:14 phát hiện (tín hiệu nội bộ + báo cáo của user) → 11:34 revert xong và purge toàn bộ cache. Khắc phục (the…
- Incident report: Vercel environment variables cleared during synchronization Bài tóm tắt · Trigger.dev · 2026
Trigger.dev đồng bộ biến môi trường từ Vercel trước mỗi lần build. API của Vercel trả biến loại Sensitive với value: "" vì integration không được đọc giá trị.
- A postmortem of our July 14, 2026 incident Bài tóm tắt · Coinbase · 2026
…thay đổi cấu hình thường lệ (thuộc đợt migrate sang mô hình deploy service mới) được review và đi qua pipeline chuẩn như một thay đổi rủi ro thấp . - Do trùng tên resource mà kiểm…
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
…pi-gateway-outage/) Bối cảnh - Editor của Canva là một SPA, deploy nhiều lần mỗi ngày; mỗi lần có hơn 100 file tĩnh mới lên S3 và được phát qua Cloudflare (tiered cache). - API Gat…
- Caching Without Marshal Part 1: Marshal from the Inside Out Bài tóm tắt · Shopify · 2022
…object với class mới vào cache, code cũ (còn chạy trong lúc deploy) đọc và chết vì class không tồn tại. Thay đổi chính - Hai cách giảm rủi ro đều bị loại: cache ít thứ hơn (mất lợi…
- API, ChatGPT & Sora Facing Issues (incident write-up) Bài tóm tắt · OpenAI · 2024
…g hẳn. - OpenAI chạy hàng trăm cụm Kubernetes. Lúc 15:12 họ deploy một service telemetry mới để thu metric chi tiết của control plane, như một phần nỗ lực tăng độ tin cậy. Cấu hình…
- How we handled a recent phishing incident that targeted Dropbox Bài tóm tắt · Dropbox · 2022
…ận email giả làm CircleCI (Dropbox dùng CircleCI cho một số deploy nội bộ, và đăng nhập CircleCI được bằng tài khoản GitHub). Một phần email bị cách ly tự động, phần còn lại vào hộ…
- crates.io security incident: improperly stored session cookies Bài tóm tắt · Rust · 2025
…có dấu hiệu giá trị bị truy cập hay dùng. Thay đổi chính - Deploy ngay thay đổi che mọi giá trị cookie trong mọi sự kiện gửi lên Sentry. - Vô hiệu mọi phiên đăng nhập , làm cookie…
- Three months, 30x demand: How we scaled Google Meet during COVID-19 Bài tóm tắt · Google · 2020
…giảm thiểu dựng sẵn), Production changes (đưa năng lực lên, deploy bản tối ưu). - Liên tục hỏi lại cấu trúc có còn hợp: "đủ cấu trúc để làm hiệu quả, không hơn". Thay đổi kỹ thuật…
- PostgreSQL Stories: A simple query with a big problem Bài tóm tắt · Render · 2024
…phẩm Postgres cho khách. Bối cảnh - Tháng 2/2024, pipeline deploy staging của Render bị chặn hàng giờ. Production chỉ được deploy sau khi build đã qua staging, nên tắc staging là…
- Scaling our on-call process Bài tóm tắt · Monzo · 2022
…m chỉ huy sự cố chung cho sự cố lớn. Liên quan - (cùng năm: deploy phi tập trung, guardrail tập trung) - · - · - ·…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…store là cách dùng , không phải công nghệ hỏng: cấu hình và deploy, capacity và scaling. S3: lỗi cấu hình artifact deploy làm app mất quyền vào bucket → dựng kiểm chứng tự động cho…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- Zero-downtime Postgres migrations - the hard parts Bài tóm tắt · GoCardless · 2015
…timeout trong script migration ở mức app chịu được: thà huỷ deploy còn hơn làm sập app. - Chia nhỏ thay đổi schema : dễ chẩn đoán hơn, transaction quanh DDL ngắn hơn. - Cập nhật Po…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Building Multi-Region Resiliency with Amazon RDS and Amazon Aurora Bài tóm tắt · Goldman Sachs · 2021
…ate bất đồng bộ . Thay đổi chính - Ứng dụng active/passive: deploy đầy đủ ở region phụ, kèm replica DB, nhưng chỉ một bản chạy. Không cho kết nối DB xuyên region. Họ chấp nhận khả…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
…API). Người trực lo site chạy và giữ cho trunk và pipeline deploy khoẻ. Mỗi tuần một nhóm mới: một engineer mỗi nền tảng, kèm người của Productivity, SRE và một manager điều phối.…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…dài như backfill lâu. 3. Không biết DAG của ai: người dùng deploy từ repo riêng và sinh DAG lúc deploy, nên thêm manifest khai báo namespace, chủ sở hữu, repo nguồn cho mỗi môi tr…
- Cut-over logic in vitess schema migrations Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
…ợc nếu mình chết giữa chừng. - Schema migration là một loại deploy cần giới hạn thời gian chờ, cùng tinh thần lock timeout của GoCardless (). Liên quan - -…
- Alerting Framework at Airbnb Bài tóm tắt · Airbnb · 2017
…trình kiểm cú pháp query Datadog; mỗi commit tạo artifact, deploy thì Interferon tải định nghĩa hiện có từ Datadog, so với bản sinh ra và chỉ sửa phần khác . Chạy lại mỗi giờ để t…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- GoCardless Công ty Thành viên
Công ty thanh toán chạy Postgres trên bare-metal. Hai bài cho thấy hai mặt của độ tin cậy DB: một migration schema "vô hại" gây 15 giây downtime vì hàng đợi khoá , và một lần primary hỏng mà Pacemaker không promote…
- Fear-free PostgreSQL migrations for Rails Bài tóm tắt · GoCardless · 2020
Postgres là database mặc định của GoCardless, đứng sau monolith API chính (Rails). Schema đổi qua migration của Rails.