Tìm kiếm
40 kết quả cho “Health check”. Tìm không phân biệt dấu.
- Stack Overflow: How We Do Monitoring - 2018 Edition Bài tóm tắt · Stack Overflow · 2018
….NET Core. Bài chia dữ liệu monitoring thành logs, metrics, health checks và profiling, rồi kể các công cụ (phần lớn tự viết và open source) dùng cho từng loại. Thay đổi chính - Lo…
- Troubleshooting: A journey into the unknown Bài tóm tắt · Booking.com · 2017
…er BGP với switch hai phía, chia traffic bằng ECMP; anycast-healthchecker rút route khi service hỏng; BFD gửi hello UDP mỗi 400 ms, mất ba gói liên tiếp (1,2 giây) thì phiên bị coi…
- Chaos Testing an Application on AWS Bài tóm tắt · Goldman Sachs · 2022
…lỗi DB cho thấy cần lớp cache. - Observability và capacity: health check 30 giây làm phát hiện node chết chậm, tỉ lệ lỗi 0,14%; rút ngắn còn 0,07%. Một instance mất kết nối làm lỗi…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…h deploy so le để bug lọt lưới không lên cả hai cùng lúc. - Health Monitor (một ứng dụng Kafka Streams nhỏ) gom "health metric" của từng service mỗi 2–5 phút, dựa trên hai chỉ số:…
- How Facebook deals with PCIe faults to keep our data centers running reliably Bài tóm tắt · Meta · 2021
Data center của Facebook (2021) có hàng triệu linh kiện PCIe (ASIC tăng tốc video và inference, GPU, NIC, SSD), nhiều nhà cung cấp, nhiều bản firmware, chạy các ứng dụng có mức chịu lỗi khác nhau. Lỗi có thể từ phần…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…et lên trước khi dời traffic (không đủ capacity thì dừng) → health gate (engine đã nạp và trả lời, không chỉ "đã start") → dời traffic → chờ 30 giây cho cache routing toàn cục hội…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- How We Built Fly Postgres Bài tóm tắt · Fly.io · 2022
…Ra mắt thử fly pg create tháng 1/2021 (cụm 2 node, metrics, health check, alert). Kiến trúc - Một primary, một replica gần đó qua streaming replication bất đồng bộ (WAL). Postgres…
- Stack Overflow: How We Do Deployment - 2016 Edition Bài tóm tắt · Stack Overflow · 2016
…báo HAProxy sẵn sàng. HAProxy chỉ trả traffic lại sau 3 lần health check thành công. Làm lần lượt từng máy; 9 web server mất khoảng 2 phút. - Theo tác giả, đi từ MAINT sang READY t…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…t thì replay WAL mất nhiều giờ. Đang chuyển sang hệ khác. - Health check: - thụ động (lỗi ECC của GPU, đĩa, mạng, sự kiện bảo trì của cloud) thì tự cordon, nặng thì evict; - chủ độ…
- Booking.com Công ty Thành viên
Booking.com scale đọc bằng hàng nghìn slave MySQL (2014). Crash-safe replication của MySQL 5.6 tải lại binlog từ master sau mỗi lần khởi động, đè lên card mạng của master; họ đặt Binlog Server cục bộ trên slave để phục…
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…úc; một node pgbouncer dự phòng đang không khoẻ, mà khi mọi health check cùng lỗi thì GCP load balancer gửi traffic tới mọi node (fail-open) và có thể làm ngập DB, nên rút node đó…
- Scaling Kubernetes to 2,500 nodes Bài tóm tắt · OpenAI · 2018
…ữ etcd (mặc định 2 GB): etcd ngừng nhận ghi → mọi node fail health check → autoscaler quyết định xoá toàn bộ worker . Họ tăng giới hạn kích thước. - Scheduler: chính sách mặc định…
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
…y vào panic mode (cân tải lên mọi instance khi phần lớn rớt health check) cộng retry và circuit breaker. Cần nhiều instance hơn thường vì mạng vẫn chưa khoẻ. - Nguyên nhân gốc (AWS…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…ho chế độ xả. - Tự xây bằng các khối có sẵn: - replica ping health check của primary mỗi 10 giây, gửi lên Nagios; - 3 lần lỗi thì Nagios đẩy sự kiện vào Kinesis; - Lazarus (dịch vụ…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…t/config/service) → Deploy (tạo ASG mới mỗi service) → CheckHealthy (ASG, ELB, target group; thấy instance đang bị terminate là dừng ngay) → CleanUpSuccess (xoá ASG cũ) hoặc CleanU…
- Deployment At Scale: Dream11's In-House Blue-Green Deployment Platform "OneClick" Bài tóm tắt · Dream11 · 2022
…rồi gọi Terraform dựng green. 5. Kiểm tra trước khi chuyển: health check; green không được nhỏ hơn blue ; lấy khoá hạ tầng giữa các automation . 6. Chuyển traffic từng bước: đẩy mộ…
- Meet Bandaid, the Dropbox service proxy Bài tóm tắt · Dropbox · 2018
…/2, gRPC, service discovery, reload cấu hình không restart, health check. - Lý do tự xây theo Dropbox: tích hợp hạ tầng nội bộ, dùng lại thư viện, tự đổi khi cần. Thay đổi chính -…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- Goldman Sachs Công ty Thành viên
Mảng Transaction Banking phải chứng minh với cơ quan quản lý rằng hệ thống chạy tiếp khi mất region. Với RDS Oracle và Aurora PostgreSQL, họ chọn ứng dụng active/passive, replication bất đồng bộ và tự xây công cụ…
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…đôi; Consul giữ pool cho query node và cho từng cặp shard, health check tự loại host chết. Thêm storage chịu hỏng ổ, snapshot từ xa. - Đọc remote đồng thời: query ban đầu chậm hơn…
- HRTWorker: A SharedWorker Framework Bài tóm tắt · Hudson River Trading · 2025
…dịch trong ngày: trạng thái process, reject từ sàn, kết quả health check, cập nhật dưới một giây. Kèm một trình dựng dashboard WYSIWYG gồm các widget tóm tắt dữ liệu của app đầy đủ…
- Rethinking Netflix's Edge Load Balancing Bài tóm tắt · Netflix · 2018
…, kèm target tuỳ chọn); thụ động theo response thay vì poll health-check. Thử CPU và load average thì dao động vì là trung bình trượt có độ trễ. - Choice-of-2 thay round-robin: chọ…
- OpenAI Công ty Thành viên
Hạ tầng nghiên cứu của OpenAI chạy trên Kubernetes: từ 2.500 node (2018), nơi etcd, agent giám sát và ARP cache lần lượt vỡ , lên một cụm 7.500 node (2021) với API server ngoài cụm, gang scheduling và health check GPU .…
- Scaling Cache Infrastructure at Pinterest Bài tóm tắt · Pinterest · 2020
…failover sang một cụm dùng chung khi server chết hoặc chậm, health check chủ động để đưa server trở lại; - replicate xuyên AZ cho use case quan trọng, mất trọn một AZ vẫn không dow…
- So You Think You Can Scale? Bài tóm tắt · Railway · 2023
…orkflow (chính là workflow deploy cũ) cho từng replica; đợi healthcheck của mọi replica. - Mạng riêng: mỗi container nhận một IPv6 riêng, đẩy vào network control plane chạy theo sự…
- Multi-region high availability for Kafka workloads with a single Stretch Cluster Bài tóm tắt · Redpanda · 2026
…ải hỏi trạng thái replica thật của từng node, không dựa vào health check chung; khi không chắc thì dừng (). Liên quan - · - (quorum và promote ở MySQL) - · ·…
- Stack Overflow Công ty Thành viên
Phản ví dụ nên đọc sớm cho niềm tin "lớn thì phải scale out". Năm 2009, với 16 triệu page view mỗi tháng, Stack Overflow chạy hai web server và một SQL Server, chạm giới hạn thì nâng RAM; theo Jeff Atwood, phần cứng rẻ…
- Business Continuity & Disaster Recovery in the Microservices world Bài tóm tắt · Walmart · 2019
…-least-once). - Monitor hai tầng: worker trong mỗi Ring gom health check chuẩn hoá (app, DB, broker), master có góc nhìn toàn cầu và ra lệnh failover. Mọi API đi qua GSLB : failove…
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…g; affinity; cấp TLS. - Pod gồm Cassandra cùng các sidecar: health check cho service discovery, cron (snapshot), Sensu, Prometheus exporter, CDC publisher đẩy thay đổi bảng vào dat…