Tìm kiếm
40 kết quả cho “Failover tự động”. Tìm không phân biệt dấu.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…omote, dựng replica mới. - Phát hiện trong khoảng 30 giây , failover xong trong hơn 1 phút . - Ratequeue Chaos: chọn một shard (chỉ khi còn ít nhất 2 shard khoẻ), tắt primary bằng…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
…— [bài gốc](https://increment.com/reliability/yelp-traffic-failover-strategy/) Bối cảnh - Yelp phục vụ từ hai region AWS ở hai bờ nước Mỹ. Request chỉ đọc (phần lớn traffic) đi tớ…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
LMAX là sàn giao dịch phái sinh cho nhà đầu tư cá nhân (công ty mẹ là Betfair). Sàn cần latency thấp vì mỗi giao dịch làm thay đổi thị trường cho giao dịch sau; bán lẻ thì thêm nhiều người dùng. Phần lớn hoạt động đến…
- VTOrc: Vitess-native Orchestrator Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
…của VTTablet chứ không chỉ MySQL. Bài học cho SWE - Công cụ failover đặt bên trong hệ, đọc trạng thái mong muốn từ một nguồn sự thật, đơn giản và ít bug hơn công cụ tổng quát gắn t…
- Adopting Arm at Scale: Transitioning to a Multi-Architecture Environment Bài tóm tắt · Uber · 2025
…mới sang tier sau), non-prod trước prod , từng zone (để còn failover hoặc rút traffic khỏi một AZ). Test tự chạy mỗi lần deploy; tự revert khi có alert hay SLA xấu đi, nên không cầ…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…hờ merge upstream). Bài sau dùng lại GPU Memory Service cho failover: . Bối cảnh - Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes mất vài phút; trong lúc…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…hì chạy hai pipeline song song và chọn ở phía đọc , thay vì failover bên trong pipeline (). - Health dựa trên tín hiệu nghiệp vụ (QPS vào, độ trễ event) bắt được cả lỗi ở upstream.…
- Analysis of recent downtime & what we're doing to prevent future incidents Bài tóm tắt · Asana · 2019
…1/8), 34 phút (13/8). Kỳ vọng thường lệ: phần cứng hỏng thì failover sang hot spare mất vài phút, ứng dụng retry. - Có cơ chế chống phản hồi dương/sụp dây chuyền do quá tải ở nơi k…
- Announcing High Availability for Render PostgreSQL Bài tóm tắt · Render · 2024
…- Control plane thấy primary không phản hồi 30 giây thì tự failover: trỏ URL của primary sang standby. Việc đổi mất vài giây; tổng gián đoạn dưới một phút. Instance cũ khoẻ lại th…
- Chat Service Architecture: Persistence Bài tóm tắt · Riot Games · 2015
…single point of failure ; trục trặc nhỏ không đủ kích hoạt failover vẫn gây timeout, sự cố lớn thành downtime và nhiều việc tay; - schema migration ngày càng đắt, thường cần hàng…
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
…tay. - 2/9 (15 phút): LB primary ở Virginia crash lần nữa, failover sang secondary, rồi secondary cũng crash và lùi về primary, lặp lại lỗi đồng bộ router; chat chậm hàng giờ sau…
- RocketMQ High-Availability Paper Admitted to ACM FSE: Replication-Free Failover Bài tóm tắt · Alibaba · 2026
…y production. Vì sao - Theo Alibaba, chỉ thiết kế lại đường failover chứ không thay storage engine thì CommitLog, page cache, crash recovery đã chín muồi giữ nguyên; sửa ít vào lõi…
- Disaster Recovery for Databases: High-availability Architecture of PolarDB-X Bài tóm tắt · Alibaba · 2026
…, mất phân vùng là ngừng); bất đồng bộ (nhanh, mất dữ liệu, failover cần người kiểm); semi-sync (gần 0, khi trễ thì tụt về bất đồng bộ nên vẫn có thể mất); đồng thuận đa số Paxos/R…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
Hai nhà sáng lập từng ở Facebook (nền tảng, hạ tầng; một người từng làm lõi SQL Server). Theo họ, Facebook scale được nhờ hai thứ: Memcached (KV trong RAM) và sinh code (HipHop dịch PHP sang C++). Ghép hai ý vào…
- How we rebuilt the search architecture for high availability in GitHub Enterprise Server Bài tóm tắt · GitHub · 2026
…ch chỉ lo replication document; GitHub tự viết workflow cho failover, xoá index, nâng cấp . - Rollout: tuỳ chọn từ bản 3.19.1 (bật cờ cấu hình rồi config-apply /nâng cấp); khi khởi…
- Scaling High-Availability Infrastructure in the Cloud Bài tóm tắt · Twilio · 2011
…, nhất là trên cloud, nơi không có phần cứng chuyên dụng tự failover. "Lưu trữ dữ liệu là bài toán kỹ thuật khó nhất của đa số SaaS cần scale." - Hai nguyên nhân downtime chính: lư…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…hot standby cho phần compute, node mới nhận việc nhanh khi failover hay scale. - Hai đường đồng bộ: đường tiền đồng bộ liên tục đọc, chuyển, ghi file giữa các lần commit; lúc comm…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…e (tới một giờ), mọi job phải dừng; nay nâng Standby trước, failover, rồi tới DataNode theo từng rack. - Tune Java: heap NameNode 380 GB cho 1,1 tỷ object; giữ tỉ lệ young:tenured…
- Active-Active Shared-Nothing Database Architecture Bài tóm tắt · CapitalOne · 2020
…N thường bị nhầm với HA. - Active/passive và brown-out: khi failover phải chờ standby bắt kịp; khoảng đó gọi là brown-out . Muốn hết brown-out thì phải nhân bản đồng bộ, vốn đắt (m…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…DBMS: dump & restore (cần downtime), replication native rồi failover (gần như không downtime, phải đổi endpoint), CDC qua Kafka (vượt được khác biệt topo, ví dụ Redis 6 shard sang…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
Tải tăng vọt vì agent (theo GitHub): tổng sự kiện Git từ 218,2 tỉ lên 473,3 tỉ mỗi tháng (9/2025 → 8/2026); push tăng 4,9 lần trong một năm (0,69 → 3,35 tỉ/tháng); 7,38 tỉ commit trong tháng 9/2026, gấp hơn năm lần năm…
- The Evolution of Alibaba Cloud's Relational Database Services Architecture - PolarDB Bài tóm tắt · Alibaba · 2018
…metadata; trễ giữa master và read node xuống mức mili giây; failover sang read node dưới 30 giây . Replication theo page song song mịn hơn theo bảng; tắt được binlog nếu không cần…
- Scaling Cache Infrastructure at Pinterest Bài tóm tắt · Pinterest · 2020
…kể. Cùng hướng với Netflix EVCache (). - Sẵn sàng cao: - tự failover sang một cụm dùng chung khi server chết hoặc chậm, health check chủ động để đưa server trở lại; - replicate xuy…
- From One Horizontal Scaling Controller to Many: Evolving Uber's Compute Platform Bài tóm tắt · Uber · 2026
…uyết số replica (Up) và một bên áp và báo (UDC). - Từ 2023, failover đổi cách: Uber chạy active-active giữa các region; khi failover, region còn lại phải có đủ compute rảnh. Cách c…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- HTTPS on Stack Overflow: The End of a Long Road Bài tóm tắt · Stack Overflow · 2017
…card (DigiCert), cài giống hệt ở cả load balancer và CDN để failover được. Domain dạng meta.gaming.stackexchange.com không được wildcard phủ (RFC 6125), nên phải đổi sang gaming.me…
- Controlled Chaos with Fault Injection Testing Bài tóm tắt · Riot Games · 2019
…ịnh từ tập thành viên đã biết. - Lỗi ở secondary chỉ lộ khi failover: phải tiêm lỗi đủ nhiều lần để đi qua đường promote. - Kill -9 thường xuyên làm cho kill -9 thành đường tắt máy…
- Incident review: API and Dashboard outage on 10 October 2017 Bài tóm tắt · GoCardless · 2017
…y nhiều, nên dựng cluster mới và chuyển traffic bằng cơ chế failover không downtime có sẵn: PgBouncer chạy sau một VIP riêng; tạm dừng query ở PgBouncer (xếp hàng) → promote → chuy…
- Hardening EmergencyReparentShard in v25 Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2026
…các maintainer. Bối cảnh - EmergencyReparentShard (ERS) là failover của Vitess khi primary của shard chết hoặc không liên lạc được. VTOrc dùng ERS để tự xử lý nhiều sự cố. Primary…
- The history of Postgres sharding Bài tóm tắt · PlanetScale · 2026
…thật, router không trạng thái scale ngang, và tự lo backup, failover, schema change. Đây là lập luận cho sản phẩm Neki của họ. Bài học cho SWE - Mẫu lặp lại ở nhiều công ty: một pr…
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…ộ giờ trên mọi máy. - Thực thi: tạm dừng Patroni (đóng băng failover), đổi config, kiểm, rút pgbouncer, đặt lịch at . Lúc 02:20 UTC mọi Consul cùng restart; giây thứ 8 có leader; đ…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Lessons from Deploying MySQL GTID at Scale Bài tóm tắt · Meta · 2014
…biết mình đã chạy tới đâu ( auto-positioning ). - Lợi ích: failover đơn giản và ít lỗi người hơn (không phải chỉ định vị trí; server tự bỏ qua transaction đã chạy); topology repli…
- Building Multi-Region Resiliency with Amazon RDS and Amazon Aurora Bài tóm tắt · Goldman Sachs · 2021
…iệu; trong nhiều kịch bản sẽ dừng xử lý giao dịch trước khi failover để replica bắt kịp. Theo bài, trọng tâm là availability. - Yêu cầu với công cụ failover: - không phụ thuộc gì ở…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…WAL trên primary tới khi client tiến lên. - Postgres 17 có failover slot (đồng bộ trạng thái slot sang ứng viên promote), nhưng standby chỉ đủ điều kiện mang slot sau khi subscrib…
- Moving to DynamoDB to Increase Application Resiliency Bài tóm tắt · CapitalOne · 2021
…ck active-active ở hai region AWS (East, West) , service tự failover gần như tức thì, trừ PostgreSQL : primary ở một region, read replica ở region kia, promote mất 10–15 phút . - R…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…region và khác region, ETL đọc từ replica. Master hỏng thì failover sang bản DRBD và đổi bản ghi Route53; ứng dụng billing là batch nên chịu được khoảng gián đoạn, client mở kết n…
- Cloud Native MySQL Sharding with Vitess and Kubernetes Bài tóm tắt · Vitess · 2015
…restore tích hợp với blob store, reparent dựa trên GTID cho failover thường lệ đảo ngược được, đổi schema đơn giản hơn. - Shard theo khoảng trên keyspace ID: mỗi khoá được băm thàn…