Tìm kiếm
40 kết quả cho “failover”. Tìm không phân biệt dấu.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
…— [bài gốc](https://increment.com/reliability/yelp-traffic-failover-strategy/) Bối cảnh - Yelp phục vụ từ hai region AWS ở hai bờ nước Mỹ. Request chỉ đọc (phần lớn traffic) đi tớ…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…omote, dựng replica mới. - Phát hiện trong khoảng 30 giây , failover xong trong hơn 1 phút . - Ratequeue Chaos: chọn một shard (chỉ khi còn ít nhất 2 shard khoẻ), tắt primary bằng…
- RocketMQ High-Availability Paper Admitted to ACM FSE: Replication-Free Failover Bài tóm tắt · Alibaba · 2026
…y production. Vì sao - Theo Alibaba, chỉ thiết kế lại đường failover chứ không thay storage engine thì CommitLog, page cache, crash recovery đã chín muồi giữ nguyên; sửa ít vào lõi…
- Moving to DynamoDB to Increase Application Resiliency Bài tóm tắt · CapitalOne · 2021
…ck active-active ở hai region AWS (East, West) , service tự failover gần như tức thì, trừ PostgreSQL : primary ở một region, read replica ở region kia, promote mất 10–15 phút . - R…
- Building Multi-Region Resiliency with Amazon RDS and Amazon Aurora Bài tóm tắt · Goldman Sachs · 2021
…iệu; trong nhiều kịch bản sẽ dừng xử lý giao dịch trước khi failover để replica bắt kịp. Theo bài, trọng tâm là availability. - Yêu cầu với công cụ failover: - không phụ thuộc gì ở…
- From One Horizontal Scaling Controller to Many: Evolving Uber's Compute Platform Bài tóm tắt · Uber · 2026
…uyết số replica (Up) và một bên áp và báo (UDC). - Từ 2023, failover đổi cách: Uber chạy active-active giữa các region; khi failover, region còn lại phải có đủ compute rảnh. Cách c…
- Analysis of recent downtime & what we're doing to prevent future incidents Bài tóm tắt · Asana · 2019
…1/8), 34 phút (13/8). Kỳ vọng thường lệ: phần cứng hỏng thì failover sang hot spare mất vài phút, ứng dụng retry. - Có cơ chế chống phản hồi dương/sụp dây chuyền do quá tải ở nơi k…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…WAL trên primary tới khi client tiến lên. - Postgres 17 có failover slot (đồng bộ trạng thái slot sang ứng viên promote), nhưng standby chỉ đủ điều kiện mang slot sau khi subscrib…
- Announcing High Availability for Render PostgreSQL Bài tóm tắt · Render · 2024
…- Control plane thấy primary không phản hồi 30 giây thì tự failover: trỏ URL của primary sang standby. Việc đổi mất vài giây; tổng gián đoạn dưới một phút. Instance cũ khoẻ lại th…
- Hardening EmergencyReparentShard in v25 Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2026
…các maintainer. Bối cảnh - EmergencyReparentShard (ERS) là failover của Vitess khi primary của shard chết hoặc không liên lạc được. VTOrc dùng ERS để tự xử lý nhiều sự cố. Primary…
- Technical Secrets of PolarDB: High Availability - Smooth Switchover Bài tóm tắt · Alibaba · 2025
…heo Alibaba: phát hiện lỗi chính xác hơn dò qua mạng (tránh failover nhầm do chậm), xác định trạng thái cụm trong 1–5 giây, RPO = 0 vì dùng chung storage. - Dự phòng nóng thật sự:…
- How Upstash Keeps Your Redis Up When an Availability Zone Isn't Bài tóm tắt · Upstash · 2026
…là bỏ đi vài giây ghi đã xác nhận. Thay đổi chính (thiết kế failover) - Phát hiện: replica gossip với nhau; cụm không phát hiện "mất AZ" mà phát hiện một thành viên im lặng . Một k…
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
…tay. - 2/9 (15 phút): LB primary ở Virginia crash lần nữa, failover sang secondary, rồi secondary cũng crash và lùi về primary, lặp lại lỗi đồng bộ router; chat chậm hàng giờ sau…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
…y nhiều, nên dựng cluster mới và chuyển traffic bằng cơ chế failover không downtime có sẵn: PgBouncer chạy sau một VIP riêng; tạm dừng query ở PgBouncer (xếp hàng) → promote → chuy…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…e (tới một giờ), mọi job phải dừng; nay nâng Standby trước, failover, rồi tới DataNode theo từng rack. - Tune Java: heap NameNode 380 GB cho 1,1 tỷ object; giữ tỉ lệ young:tenured…
- Lessons from Deploying MySQL GTID at Scale Bài tóm tắt · Meta · 2014
…biết mình đã chạy tới đâu ( auto-positioning ). - Lợi ích: failover đơn giản và ít lỗi người hơn (không phải chỉ định vị trí; server tự bỏ qua transaction đã chạy); topology repli…
- VTOrc: Vitess-native Orchestrator Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
…của VTTablet chứ không chỉ MySQL. Bài học cho SWE - Công cụ failover đặt bên trong hệ, đọc trạng thái mong muốn từ một nguồn sự thật, đơn giản và ít bug hơn công cụ tổng quát gắn t…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…không chỉ là kiểm soát chi phí. - Shard nhiều cụm + runbook failover cluster: chuyển shard (khoảng 15 phút), song song dựng cụm sạch từ IaC (khoảng 2 giờ), quá ngưỡng thì chuyển hẳ…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…region và khác region, ETL đọc từ replica. Master hỏng thì failover sang bản DRBD và đổi bản ghi Route53; ứng dụng billing là batch nên chịu được khoảng gián đoạn, client mở kết n…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…file lock) để bầu active: không cần heartbeat hay lease cho failover trong cùng máy. - Phân loại lỗi theo phạm vi (process, node, phần cứng) rồi chọn cơ chế phục hồi cho từng loại;…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…hì chạy hai pipeline song song và chọn ở phía đọc , thay vì failover bên trong pipeline (). - Health dựa trên tín hiệu nghiệp vụ (QPS vào, độ trễ event) bắt được cả lỗi ở upstream.…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
LMAX là sàn giao dịch phái sinh cho nhà đầu tư cá nhân (công ty mẹ là Betfair). Sàn cần latency thấp vì mỗi giao dịch làm thay đổi thị trường cho giao dịch sau; bán lẻ thì thêm nhiều người dùng. Phần lớn hoạt động đến…
- The Great Re-shard: adding Postgres capacity (again) with zero downtime Bài tóm tắt · Notion · 2023
…do query không tất định như LIMIT hoặc trễ replication). - Failover từng DB bằng script: tạm dừng traffic ở PgBouncer và để query đang chạy xong → kiểm tra replication đã đuổi kịp…
- Large-Scale Automated Dependency Analysis Across Uber's Service Mesh Bài tóm tắt · Uber · 2026
…n mesh đã được đánh chỉ mục, làm hàng rào chống hồi quy cho Failover Architecture 2.0; là nền cho cơ chế chống retry storm. Vì sao - Mẫu trace quá thưa để thấy lỗi hiếm trong thời…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
Benchmark kiểu TPC-C chỉ đo tốc độ khi mọi thứ hoàn hảo; theo Cockroach Labs, doanh nghiệp trung bình gặp 86 sự cố mỗi năm (khảo sát 2025 của chính họ).
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…