Tìm kiếm
40 kết quả cho “Postmortem”. Tìm không phân biệt dấu.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Postmortem: Removing all users from github.com/trivago Bài tóm tắt · trivago · 2021
…hó: Dễ — [bài gốc](https://tech.trivago.com/post/2021-10-05-postmortem-removing-all-users-from-github-trivago) Sự cố ở hệ quản lý truy cập (công cụ nội bộ), không phải hệ phục vụ k…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…g bình — [bài gốc](https://about.gitlab.com/blog/2017/02/10/postmortem-of-database-outage-of-january-31/) Bài ngoài sheet. Một trong số ít postmortem công khai về mất dữ liệu produ…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…do.com/posts/2025/09/dead-ends-or-data-goldmines-ai-powered-postmortem-analysis.html) Bối cảnh - Văn hoá postmortem của Zalando theo sách SRE của Google: team phụ trách làm RCA và…
- A postmortem of our July 14, 2026 incident Bài tóm tắt · Coinbase · 2026
…khó: Trung bình — [bài gốc](https://www.coinbase.com/blog/a-postmortem-of-our-july-14-2026-incident) Sự cố thứ hai của Coinbase trong năm 2026 có trong wiki; sự cố trước: . Bối cản…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…hó: Khó — [bài gốc](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) Postmortem của hạ tầng phục vụ LLM. Phần sampling và độ chính xác số học chỉ tóm tắt…
- A postmortem of our May 7, 2026 outage Bài tóm tắt · Coinbase · 2026
…ộ khó: Nâng cao — [bài gốc](https://www.coinbase.com/blog/a-postmortem-of-our-may-7-2026-outage) Bối cảnh - Tối 7/5/2026 (19:20 ET): nhiều máy làm lạnh hỏng cùng lúc trong một data…
- Triggered: Incident #1234 (incident process needs fixing) Bài tóm tắt · PayPal · 2021
…uy trình. - Cuối 2019, tác giả thường được mời đi điều phối postmortem cho nhiều team, và nhận ra không thể chỉ một người làm việc đó. Thay đổi chính - Lập nhóm tình nguyện liên ph…
- Incidents, fixes, and the day after Bài tóm tắt · Booking.com · 2017
…cho khách trước → đóng escalation → làm giải pháp lâu dài → postmortem. - Vai trò: Incident Leader chỉ điều phối và giao mọi việc, kể cả việc nhỏ nhất; Comms lo cập nhật bên liên q…
- Add-Ons Outage Post-Mortem Result Bài tóm tắt · Mozilla · 2019
…/07/add-ons-outage-post-mortem-result/) Bài tóm tắt kết quả postmortem (do CTO Firefox viết); chi tiết nằm trong hai báo cáo trên wiki của Mozilla. Sự cố nằm ở phía client (add-on…
- August 22nd, 2023 Deno Deploy Post-mortem Bài tóm tắt · Deno · 2023
…i gốc](https://deno.com/blog/2023-08-22-outage-post-mortem) Postmortem ngắn. Giá trị chính là một ví dụ về coupling: website công ty và registry package chạy chung một chỗ. Bối cản…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…Kubernetes). Khoẻ hoàn toàn lúc 14:26. Thay đổi chính (sau postmortem) - Admission webhook trên Kubernetes: từ chối scale-down cho tới khi pod bàn giao xong process. - Thay superv…
- AWS CNI lessons from a Production Outage Bài tóm tắt · Neon · 2025
…cni-lessons-from-a-production-outage) Bài cuối trong series postmortem về sự cố 16/5 và 19/5/2025 ở region us-east-1 của Neon; bài này chỉ về phần cấp phát IP. Bối cảnh - Neon tách…
- How we systematically improved our reliability Bài tóm tắt · Neon · 2026
…m sập control plane và không tự hồi được. Thay đổi chính 1. Postmortem theo chuẩn Databricks - Mục đích là giảm thiệt hại cho khách sau này , không phải ghi lại sự kiện; người revi…
- A Closer Look at the Christmas Eve Outage Bài tóm tắt · Netflix · 2012
…h một dịch vụ AWS mà họ phụ thuộc; nguyên nhân gốc trích từ postmortem của AWS. Phần tiếp: . Bối cảnh - Cuối 2012, Netflix dùng hàng trăm ELB , mỗi cái cho một service hoặc một phi…
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
Editor của Canva là một SPA, deploy nhiều lần mỗi ngày; mỗi lần có hơn 100 file tĩnh mới lên S3 và được phát qua Cloudflare (tiered cache).
- A deep dive into Cloudflare's September 12, 2025 dashboard and API outage Bài tóm tắt · Cloudflare · 2025
…9:12: revert bản vá, dashboard về 100%. Thay đổi chính (sau postmortem) - Argo Rollouts (theo dõi lỗi lúc deploy và tự rollback): Cloudflare đang chuyển dần các service sang; Tenan…
- When DNSSEC goes wrong: how we responded to the .de TLD outage Bài tóm tắt · Cloudflare · 2026
DNSSEC: mỗi bản ghi có chữ ký (RRSIG); chuỗi tin cậy đi từ root xuống TLD xuống domain. Gãy ở một mắt xích thì mọi thứ bên dưới đều lỗi xác thực. Resolver bắt buộc phải trả SERVFAIL.
- Incident review: Service outage on 25 October 2020 Bài tóm tắt · GoCardless · 2020
GoCardless quản lý secret bằng HashiCorp Vault chạy trên Kubernetes: kỹ sư tự ghi secret (không đọc được), ứng dụng chỉ đọc secret của chính nó theo service account. Vault là phụ thuộc của gần như mọi service production.
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
Inngest chạy durable workflow cho khách; lõi là một queue đa tenant có flow control theo key do user đặt. Tháng 10/2024 họ nâng cấp liên tục; kết quả cuối tháng là P95 latency thực thi khoảng 50 ms với hàng chục nghìn…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
Postgres chính của Inngest giữ dữ liệu quản lý account (account, workspace, cấu hình). Service hỏi nó định kỳ (quyền theo gói, account chạy trên phần hạ tầng nào) qua PgBouncer, và mọi service dùng chung các pool.
- Retrospective and Technical Details on the recent Firefox Outage Bài tóm tắt · Mozilla · 2022
Firefox gọi nhiều service nội bộ (update, telemetry, chứng chỉ, crash report) đặt sau load balancer của nhiều cloud. Trên GCP, load balancer có cài đặt HTTP/3 ba trạng thái; Mozilla để "Automatic (default)".
- March 20 ChatGPT outage: Here's what happened Bài tóm tắt · OpenAI · 2023
OpenAI phải tắt ChatGPT vì một bug khiến một số user thấy tiêu đề lịch sử chat của user khác đang hoạt động, và có thể cả tin nhắn đầu của hội thoại mới.
- Report on our investigation of the 2025-10-20 incident in AWS us-east-1 Bài tóm tắt · PlanetScale · 2025
20/10/2025, AWS us-east-1 gặp sự cố lớn bắt đầu từ cấu hình DNS sai ở một nhà cung cấp. Sau đó là nhiều giờ thiếu năng lực và mạng chập chờn.
- Incident Report: March 30th, 2026 — Authenticated user data cached Bài tóm tắt · Railway · 2026
Trên Railway, CDN cache là opt-in: domain không bật CDN thì request luôn đi thẳng tới ứng dụng.
- Incident Report: July 2, 2026 — US East Services Outage Bài tóm tắt · Railway · 2026
Railway tự vận hành datacenter ("Metal"); mỗi site nối với ít nhất ba nhà mạng Tier 1 để mất một nhà mạng vẫn chạy.
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
12/6/2025, GCP sập toàn cầu do một bản cập nhật quota tự động vào hệ quản lý API. Cloudflare cũng bị kéo theo.
- How we stopped xmin horizon blocking Postgres vacuuming Bài tóm tắt · Trigger.dev · 2024
Trigger.dev (nền tảng chạy background job) dùng Postgres làm DB chính. Queue chính cho run (v3) nằm trên Redis; còn tác vụ nội bộ (lịch, email cảnh báo...) chạy bằng Graphile Worker, một job queue trên chính Postgres,…
- Incident report: Runs list and logs degraded Bài tóm tắt · Trigger.dev · 2026
Trigger.dev tách hai đường: thực thi run (Postgres là nguồn sự thật + Redis cho queue) và giao diện quan sát (runs list, logs, traces) chạy trên ClickHouse. ClickHouse chỉ trả danh sách run ID khớp bộ lọc; chi tiết run…
- Incident report: Vercel environment variables cleared during synchronization Bài tóm tắt · Trigger.dev · 2026
Trigger.dev đồng bộ biến môi trường từ Vercel trước mỗi lần build. API của Vercel trả biến loại Sensitive với value: "" vì integration không được đọc giá trị.
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
Lounge by Zalando lưu mô tả sản phẩm trong một cụm Elasticsearch trên Kubernetes, vận hành bằng es-operator (custom resource ElasticsearchDataSet → StatefulSet). Pod rải qua mọi AZ; Elasticsearch bật zone awareness để…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
Team Search & Browse vận hành backend catalog và full-text search. Nhiều tầng: Base Search (cụm Elasticsearch, lexical + vector), query builder dùng NER, Catalog API fan-out mỗi lượt tìm thành nhiều query (có A/B test),…
- Analysis of recent downtime & what we're doing to prevent future incidents Bài tóm tắt · Asana · 2019
Đa số dữ liệu người dùng của Asana đã shard, nhưng một phần mô hình dữ liệu dùng chung cho mọi team/workspace của user nằm trong một database dùng chung (MySQL trên RDS, cấu hình HA).
- Basecamp 2 and Basecamp 3 search outage report Bài tóm tắt · Basecamp · 2019
Basecamp 2 và tính năng search của Basecamp 3 phụ thuộc vào các kết nối mạng tới một nhà cung cấp cloud.
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
Basecamp 3 và vài dịch vụ hỗ trợ (login, billing) chạy ở hai data center on-prem dư thừa, nối bằng hai đường mạng độc lập; nhiều ứng dụng khác của họ chạy trên cloud.
- 25% or 6 to 4: The 11/6/23 Authentication Outage Bài tóm tắt · Discord · 2023
Cụm ScyllaDB scylla-authentication giữ session người dùng, đứng sau service xác thực viết bằng Rust; mọi request API đều qua đây. Topology chuẩn của Discord: "super-disk" RAID gương giữa NVMe local SSD (mất khi reboot)…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
Dữ liệu quan trọng nhất nằm trên Postgres 3 node: primary + 1 replica đồng bộ + 1 replica bất đồng bộ (mỗi lần ghi thành công đều có ít nhất 2 bản).
- Engineering operational excellence, a case of continuous improvement Bài tóm tắt · Nubank · 2023
…ticket, mức độ, tác động, nguyên nhân gốc mới và đã giải), postmortem theo five whys, mỗi cuộc họp ra action item có chủ và hạn (thường là cuộc họp tuần sau). Vì sao - Theo Nubank…
- API, ChatGPT & Sora Facing Issues (incident write-up) Bài tóm tắt · OpenAI · 2024
11/12/2024, từ 15:16 tới 19:38 (PST), mọi dịch vụ của OpenAI (API, ChatGPT, Sora) suy giảm nặng hoặc ngừng hẳn.
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
Ngày làm việc đầu năm: Slack đi từ lúc vắng nhất năm sang một trong những ngày đông nhất chỉ qua một đêm; cache của client nguội nên lần kết nối đầu kéo nhiều dữ liệu hơn thường. Traffic còn có các đỉnh nhỏ đầu mỗi giờ…