Tìm kiếm
40 kết quả cho “sự cố mạng nhà cung cấp cloud”. Tìm không phân biệt dấu.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Basecamp 2 and Basecamp 3 search outage report Bài tóm tắt · Basecamp · 2019
…đổi chính (diễn biến) - Từ 4:30 GMT ngày 7/3 tới 13:02 GMT, sự cố mạng phía nhà cung cấp làm mất cả đường chính, đường dự phòng và vài đường tạm dựng thêm giữa các service; Basecam…
- Completing the Netflix Cloud Migration Bài tóm tắt · Netflix · 2016
…g nhiều vùng AWS. - Availability tiến gần bốn số 9 . Vẫn có sự cố, nhất là giai đoạn đầu (ví dụ sự cố đêm Giáng sinh 2012). - Chi phí trên mỗi lượt bắt đầu xem thấp hơn hẳn data ce…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…ết nối và NAT. - Lưu vào ClickHouse (LogHouse nội bộ): bảng SummingMergeTree tự cộng byte/gói theo mọi tổ hợp nhãn, mốc thời gian làm tròn theo phút, nên đọc conntrack 5 giây một l…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Moving the public Stack Overflow sites to the cloud: Part 1 Bài tóm tắt · Stack Overflow · 2025
…: vì app có những giả định kiểu "phản hồi trên 30 ms là gây sự cố cho cả site". Chưa từng có load test cho site public. Môi trường test giống production (trừ quy mô và quyền truy c…
- From One Horizontal Scaling Controller to Many: Evolving Uber's Compute Platform Bài tóm tắt · Uber · 2026
…cho rolling update không downtime, có workload kẹt tới khi sửa tay. Phản ứng nhiều lớp: observability toàn fleet để phát hiện lệch; một healer định kỳ trong UDC quét và vá Replica…
- AWS Multi-Account Architecture with Terraform, Yeoman, and Jenkins Bài tóm tắt · Slalom Build · 2018
…ne. - Không tạo IAM user trong tài khoản team: người dùng assume role từ tài khoản identity, tránh access key sống lâu. Policy của role giới hạn hành động (cấm tạo IAM user), tài n…
- Rearchitecting the Workflows control plane for the agentic era Bài tóm tắt · Cloudflare · 2026
…ưa tồn tại. Thay đổi chính - Nguyên tắc V2: Engine là nguồn sự thật duy nhất về sự tồn tại của instance; vòng đời và kiểm tra sống phải scale ngang theo từng workflow, rải nhiều re…
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
…ng phục hồi khó, chứ không phải từng lỗi riêng. - Kế hoạch: sửa bug LB với vendor, thay hardware LB (đang chạy gần quá tải), đi lại đường mạng để có đa dạng tuyến thật, xem xét chu…
- A deep dive into Cloudflare's September 12, 2025 dashboard and API outage Bài tóm tắt · Cloudflare · 2025
…i chạm trần. - Phân biệt request retry với request mới: lúc sự cố không biết traffic tăng là do retry hay do request mới, trong khi biết được thì sẽ đoán ra ngay là vòng lặp ở dash…
- When The Cloud Gets Dark — How Amazon's Outage Affected Airbnb Bài tóm tắt · Airbnb · 2011
…0f162) Bối cảnh - Toàn bộ hạ tầng Airbnb năm 2011 trên AWS. Sự cố us-east tháng 4/2011: mạng ở hai AZ mất kết nối, EBS tự re-mirror nhưng không đủ capacity dự phòng, volume EBS tre…
- Coding Had a Concurrency Problem: How Mux Helped Solve It Bài tóm tắt · Coinbase · 2026
…để chạy song song; DoorDash 2026 rút cùng bài học khi agent sửa chồng file. - Số liệu năng suất của công cụ tự nguyện dùng bị chệch chọn mẫu; so sánh chéo như Allegro 2026 đáng tin…
- How Coinbase built a governed platform for internal operations Bài tóm tắt · Coinbase · 2026
…eries (các bài sau nói về AI trên nền tảng này). Bối cảnh - Support, vận hành, compliance, pháp lý, risk và engineer đều cần đọc/ghi dữ liệu khách hàng, mỗi nhóm một lý do chính đá…
- Enhancing Performance in Microservice Architecture with Kitex Bài tóm tắt · ByteDance · 2024
…ăng framework RPC Kitex từ 2019 đến 2023. Bài trước về lịch sử framework: . Nhiều biểu đồ so sánh trong bài gốc không có số trong văn bản. Bối cảnh - Thời monolith, gọi hàm tốn nan…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…việc chuẩn bị sang Application Master (AM): thread dump lúc sự cố cho thấy phần lớn thread chờ một khoá của HDFS client dùng chung trên server HiveSync; Copy Listing (liệt kê file,…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…số khách có query lỗi". - Thêm lối truy cập: SQL client của Superset hay lỗi nên mở SQL console của ClickHouse Cloud (quyền vẫn qua Google Groups); Growthbook truy vấn thẳng để phâ…
- Retrospective and Technical Details on the recent Firefox Outage Bài tóm tắt · Mozilla · 2022
Firefox gọi nhiều service nội bộ (update, telemetry, chứng chỉ, crash report) đặt sau load balancer của nhiều cloud. Trên GCP, load balancer có cài đặt HTTP/3 ba trạng thái; Mozilla để "Automatic (default)".
- How Ansible Automation Powers the Uber Corporate Network at a Global Scale Bài tóm tắt · Uber · 2026
…thiết bị hằng ngày là bình thường, và việc vận hành gồm cả sửa tay trên thiết bị để giảm sự cố đang diễn ra. - Phân vai công cụ: Terraform cấp hạ tầng cloud, Puppet quản cấu hình…
- A monolithic architecture for our clients' hundreds of versions: how we write and support tests Bài tóm tắt · Bumble · 2019
…cture-for-our-clients-hundreds-of-versions-how-we-write-and-support-tests-php-e8fe0b79c0bc) Bối cảnh - Backend Badoo là monolith PHP 12 năm tuổi, khởi đầu không có test. Backend de…
- Service Architecture at SoundCloud — Part 3: Domain Gateways Bài tóm tắt · SoundCloud · 2021
…ở nhiều domain với mẫu truy cập và phân quyền khác nhau (Consumer và Creator, hai team khác nhau). Thay vì một VAS ôm mọi thứ (dễ thành điểm nghẽn và dính chặt), mỗi domain có một…
- The Evolution of Alibaba Cloud's Relational Database Services Architecture - PolarDB Bài tóm tắt · Alibaba · 2018
…) Bài giới thiệu sản phẩm của nhà cung cấp, nửa đầu là lịch sử RDBMS nói chung; không có số liệu đo. Mọi nhận định ghi "theo Alibaba". Hai bài sau về PolarDB: , . Bối cảnh - Theo A…
- Journey to the cloud part I: Migrating Stack Overflow Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…ăng trưởng nên số máy cố định không còn đủ; - không muốn kỹ sư phải tới data center sửa phần cứng; - tuân thủ SOC 2 dễ hơn trên Azure (lần SOC 2 đầu năm 2020 rất tốn công); - dễ dự…
- Strengthening end-to-end encrypted backups Bài tóm tắt · WhatsApp · 2026
…enter, chịu lỗi bằng replication theo đa số (majority consensus) . - Cuối 2025 sao lưu E2EE đã dùng được passkey. Thay đổi chính - Phân phối khoá đội HSM qua mạng: client kiểm publ…
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
…hai backend nhưng lệch dữ liệu vẫn xảy ra nhiều hơn mức consumer cần. - Khi traffic tăng: hai nhà cung cấp khác nhau về giới hạn, kiểu lỗi, API, quy trình; IOPS vượt sức ghi vào c…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- How Render Services Stayed Up During the AWS October Outage Bài tóm tắt · Render · 2025
…ws-october-outage) Bối cảnh - 20/10/2025: AWS us-east-1 gặp sự cố gần 15 giờ . Theo một bên giám sát mà bài dẫn, khoảng 30% trong hơn 7.000 nhà cung cấp cloud được theo dõi bị ảnh…
- HTTPS on Stack Overflow: The End of a Long Road Bài tóm tắt · Stack Overflow · 2017
…g kèm nonce). - Cookie: khi cookie nằm ở domain gốc thì mọi subdomain đều nhận cookie. Mọi dịch vụ bên thứ ba dưới domain đó (link email SendGrid, blog marketing) phải dời ra domai…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…schema sang registry của WarpStream, giữ nguyên schema ID, subject, quy tắc tương thích , nên sau migrate registry đích trả lời API giống hệt nguồn. Chỉ dựa vào API chuẩn của Conf…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
…ên event loop bị chặn và throughput mỗi task giảm mạnh. Bản sửa đã nằm trong quy trình release từ sáng nhưng bị đánh giá thấp nên chưa deploy gấp. 5. Load balancer tiếp tục mở thêm…
- Journey to the cloud part II: Migrating Stack Overflow for Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…tiền tố key Redis dùng để báo cho TagEngine có câu hỏi mới. Sửa rồi tập lại. Cắt chuyển thật ngày 11/3/2023 không có sự cố. - Pha 3: dựng bản sao chỉ đọc trên Azure, chọn lift-and-…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- The Great Unracking: Saying goodbye to the servers at our physical datacenter Bài tóm tắt · Stack Overflow · 2025
…cứng vật lý ở data center "New York" (thực ra New Jersey). Suốt 16 năm, đội SRE tự lo toàn bộ vận hành vật lý: lắp máy, đi dây, thay đĩa hỏng. - Đầu 2024, nhà cung cấp data center…