Tìm kiếm
10 kết quả cho “AZ drain”. Tìm không phân biệt dấu.
- Slack's Migration to a Cellular Architecture Bài tóm tắt · Slack · 2023
…được) chưa ingest. Bối cảnh - Phần lớn hạ tầng lõi ở nhiều AZ trong một region (us-east-1). Ngày 30/6/2021 , một đường mạng nối một AZ với các AZ khác lỗi chập chờn hai lần; người…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Stack Overflow Công ty Thành viên
Phản ví dụ nên đọc sớm cho niềm tin "lớn thì phải scale out". Năm 2009, với 16 triệu page view mỗi tháng, Stack Overflow chạy hai web server và một SQL Server, chạm giới hạn thì nâng RAM; theo Jeff Atwood, phần cứng rẻ…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…source ElasticsearchDataSet → StatefulSet). Pod rải qua mọi AZ; Elasticsearch bật zone awareness để rải shard theo AZ. - Giờ cao điểm buổi sáng tải gấp khoảng 3 lần , nên họ scale…
- Coinbase Công ty Thành viên
Năm 2026, mất một AZ của AWS us-east-1 (hỏng hệ làm lạnh) biến thành khoảng 8 giờ gián đoạn: matching engine Raft dồn trong một placement group mất quorum mà không có failover tự động, còn Kafka managed (MSK) không bầu…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…Nagios; - 3 lần lỗi thì Nagios đẩy sự kiện vào Kinesis; - Lazarus (dịch vụ tự động hoá cụm) đọc sự kiện, kiểm tra trạng thái cả cụm , rồi chạy workflow: xác định shard, tìm replic…