Tìm kiếm
40 kết quả cho “Outage”. Tìm không phân biệt dấu.
- Outage post-mortem Bài tóm tắt · Dropbox · 2014
…khó: Cơ bản — [bài gốc](https://dropbox.tech/infrastructure/outage-post-mortem) Bối cảnh - Dropbox chạy hàng nghìn database, mỗi DB một master và hai replica, cộng backup full và i…
- A Closer Look at the Christmas Eve Outage Bài tóm tắt · Netflix · 2012
…ps://netflixtechblog.com/a-closer-look-at-the-christmas-eve-outage-d7b409a529ee) Bài ngoài sheet. Netflix kể lại sự cố của chính một dịch vụ AWS mà họ phụ thuộc; nguyên nhân gốc tr…
- A deep dive into Cloudflare's September 12, 2025 dashboard and API outage Bài tóm tắt · Cloudflare · 2025
…re.com/deep-dive-into-cloudflares-sept-12-dashboard-and-api-outage/) Bối cảnh - Tenant Service (Go, chạy trên Kubernetes ở một số data center) nằm trong logic phân quyền của mọi AP…
- A postmortem of our May 7, 2026 outage Bài tóm tắt · Coinbase · 2026
…ttps://www.coinbase.com/blog/a-postmortem-of-our-may-7-2026-outage) Bối cảnh - Tối 7/5/2026 (19:20 ET): nhiều máy làm lạnh hỏng cùng lúc trong một data hall của AWS us-east-1 (AZ u…
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
…ó: Trung bình — [bài gốc](https://www.redpanda.com/blog/gcp-outage-june-redpanda-cloud) Bài của nhà cung cấp (Kafka-compatible streaming), có phần quảng bá; mọi nhận định là theo R…
- How Render Services Stayed Up During the AWS October Outage Bài tóm tắt · Render · 2025
…m/blog/how-render-services-stayed-up-during-the-aws-october-outage) Bối cảnh - 20/10/2025: AWS us-east-1 gặp sự cố gần 15 giờ . Theo một bên giám sát mà bài dẫn, khoảng 30% trong h…
- The First ziglang.org Outage Bài tóm tắt · Zig Software Foundation · 2025
…ỉnh · Độ khó: Dễ — [bài gốc](https://ziglang.org/news/first-outage/) Phần tiếp của : sự cố đầu tiên sau khi chuyển ziglang.org về một máy tự host. Bối cảnh - Ngày 2025-09-01, cộng…
- When The Cloud Gets Dark — How Amazon's Outage Affected Airbnb Bài tóm tắt · Airbnb · 2011
…com/airbnb-engineering/when-the-cloud-gets-dark-how-amazons-outage-affected-airbnb-66eaf8c0f162) Bối cảnh - Toàn bộ hạ tầng Airbnb năm 2011 trên AWS. Sự cố us-east tháng 4/2011: mạ…
- Basecamp 2 and Basecamp 3 search outage report Bài tóm tắt · Basecamp · 2019
…https://m.signalvnoise.com/basecamp-2-and-basecamp-3-search-outage-report/) Báo cáo gửi khách kèm timeline cập nhật theo giờ; không nêu tên nhà cung cấp hay nguyên nhân gốc. Bối cả…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…s://discord.com/blog/behind-the-scenes-of-the-3-25-26-voice-outage) Bối cảnh - 25/3/2026, 12:13–15:30 PDT: voice/video suy giảm nặng; user không bắt đầu hay tham gia được cuộc gọi…
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…g bình — [bài gốc](https://about.gitlab.com/blog/the-consul-outage-that-never-happened/) Bối cảnh - GitLab.com (2019): khoảng 4 triệu user , 12 triệu project, 271 server production…
- Retrospective and Technical Details on the recent Firefox Outage Bài tóm tắt · Mozilla · 2022
…2/retrospective-and-technical-details-on-the-recent-firefox-outage/) Bối cảnh - Firefox gọi nhiều service nội bộ (update, telemetry, chứng chỉ, crash report) đặt sau load balancer…
- AWS CNI lessons from a Production Outage Bài tóm tắt · Neon · 2025
…ốc](https://neon.com/blog/aws-cni-lessons-from-a-production-outage) Bài cuối trong series postmortem về sự cố 16/5 và 19/5/2025 ở region us-east-1 của Neon; bài này chỉ về phần cấp…
- Lessons Netflix Learned from the AWS Outage Bài tóm tắt · Netflix · 2011
…://netflixtechblog.com/lessons-netflix-learned-from-the-aws-outage-deefe5fd0c04) Bối cảnh - 21/4/2011: sự cố lớn ở AWS US-East làm sập hoặc làm chậm nhiều website lớn. - Với Netfli…
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
…ơ bản — [bài gốc](https://m.signalvnoise.com/three-basecamp-outages-one-week-what-happened/) Bài gửi khách hàng, giọng xin lỗi; chi tiết kỹ thuật ngắn. Bối cảnh - Basecamp 3 và vài…
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
…anva.dev/blog/engineering/canva-incident-report-api-gateway-outage/) Bối cảnh - Editor của Canva là một SPA, deploy nhiều lần mỗi ngày; mỗi lần có hơn 100 file tĩnh mới lên S3 và đ…
- When DNSSEC goes wrong: how we responded to the .de TLD outage Bài tóm tắt · Cloudflare · 2026
…: Trung bình — [bài gốc](https://blog.cloudflare.com/de-tld-outage-dnssec/) Sự cố nằm ở bên ngoài (DENIC, nhà quản lý .de ). Bài kể cách một resolver lớn giảm thiệt hại. Phần mật m…
- 25% or 6 to 4: The 11/6/23 Authentication Outage Bài tóm tắt · Discord · 2023
…ng bình — [bài gốc](https://discord.com/blog/authentication-outage) Bối cảnh - Cụm ScyllaDB scylla-authentication giữ session người dùng, đứng sau service xác thực viết bằng Rust;…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
…tps://gocardless.com/blog/incident-review-api-and-dashboard-outage-on-10th-october/) Bối cảnh - Dữ liệu quan trọng nhất nằm trên Postgres 3 node : primary + 1 replica đồng bộ + 1 r…
- Incident review: Service outage on 25 October 2020 Bài tóm tắt · GoCardless · 2020
…ài gốc](https://gocardless.com/blog/incident-review-service-outage-on-25-october-2020/) Bối cảnh - GoCardless quản lý secret bằng HashiCorp Vault chạy trên Kubernetes: kỹ sư tự ghi…
- Add-Ons Outage Post-Mortem Result Bài tóm tắt · Mozilla · 2019
…ó: Dễ — [bài gốc](https://hacks.mozilla.org/2019/07/add-ons-outage-post-mortem-result/) Bài tóm tắt kết quả postmortem (do CTO Firefox viết); chi tiết nằm trong hai báo cáo trên wi…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…s://about.gitlab.com/blog/2017/02/10/postmortem-of-database-outage-of-january-31/) Bài ngoài sheet. Một trong số ít postmortem công khai về mất dữ liệu production thật , do chính G…
- March 20 ChatGPT outage: Here's what happened Bài tóm tắt · OpenAI · 2023
…bình — [bài gốc](https://openai.com/index/march-20-chatgpt-outage/) Bối cảnh - OpenAI phải tắt ChatGPT vì một bug khiến một số user thấy tiêu đề lịch sử chat của user khác đang ho…
- Incident Report: July 2, 2026 — US East Services Outage Bài tóm tắt · Railway · 2026
….railway.com/p/incident-report-july-2-2026-us-east-services-outage) Bối cảnh - Railway tự vận hành datacenter ("Metal"); mỗi site nối với ít nhất ba nhà mạng Tier 1 để mất một nhà…
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
…hó: Trung bình — [bài gốc](https://slack.engineering/slacks-outage-on-january-4th-2021/) Bối cảnh - Ngày làm việc đầu năm: Slack đi từ lúc vắng nhất năm sang một trong những ngày đ…
- No record left behind: How WarpStream can withstand cloud provider regional outages Bài tóm tắt · WarpStream · 2025
…behind-how-warpstream-can-withstand-cloud-provider-regional-outages) Bài giới thiệu tính năng của nhà cung cấp (Kafka "diskless" trên object storage). Nhận định và con số SLA là "t…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
Benchmark kiểu TPC-C chỉ đo tốc độ khi mọi thứ hoàn hảo; theo Cockroach Labs, doanh nghiệp trung bình gặp 86 sự cố mỗi năm (khảo sát 2025 của chính họ).
- Report on our investigation of the 2025-10-20 incident in AWS us-east-1 Bài tóm tắt · PlanetScale · 2025
20/10/2025, AWS us-east-1 gặp sự cố lớn bắt đầu từ cấu hình DNS sai ở một nhà cung cấp. Sau đó là nhiều giờ thiếu năng lực và mạng chập chờn.
- How Uber Protects Against Retry Storms Bài tóm tắt · Uber · 2026
Chỉnh cấu hình retry và retry budget giảm được ở mức từng service, nhưng chỉnh tay và không thấy được khuếch đại xuyên service qua chuỗi phụ thuộc sâu và fan-out. Gốc vấn đề: retry không biết ngữ cảnh; kiểm được bao…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
465 triệu user/tháng; 19 tỉ tin vào và 40 tỉ tin ra mỗi ngày; 600 triệu ảnh, 200 triệu voice, 100 triệu video mỗi ngày.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…