Tìm kiếm
37 kết quả cho “hot restart”. Tìm không phân biệt dấu.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Migrating Millions of Concurrent Websockets to Envoy Bài tóm tắt · Slack · 2021
…S) nên đổi endpoint không cần reload; đổi code/cấu hình thì hot restart không rớt kết nối , giữ cả số liệu thống kê; zone-aware routing, outlier detection, panic routing (khi tỷ lệ…
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…ộng để phục vụ client ở vùng khác . Sau khi restart từ snapshot và trước khi ring buffer đầy, nếu client hỏi offset trước snapshot thì server trả về byte NUL từ vùng trống thay vì…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…g nhẹ sau cutover; vLLM là backend chính. Bài học cho SWE - Hot standby rẻ khi phần đắt nhất (weight) được tách khỏi vòng đời process và dùng chung; phần còn lại phải khởi tạo trướ…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…(2021). HA bằng failover replica đơn giản; backup bằng snapshot đĩa AWS. - Workload đặc biệt: 99% lượt ghi diễn ra ban đêm (quy trình EOD đối soát dữ liệu từ sở giao dịch), hàng ch…
- Slack's Incident on 2-22-22 Bài tóm tắt · Slack · 2022
Client Slack phải boot (tải danh sách kênh, preference, hội thoại gần nhất) mới dùng được; boot lỗi là trang lỗi.
- The WhatsApp Architecture Facebook Bought For $19 Billion Bài tóm tắt · WhatsApp · 2014
…a một máy vào DNS vài lần để nhận gấp đôi, gấp ba traffic); hot code loading cho phép đổi code dưới tải thật và xem ngay kết quả. - Vận hành: đẩy code gần như mỗi ngày, tránh giờ c…
- How We Improved Our Performance Using ElasticSearch Plugins: Part 1 Bài tóm tắt · Tinder · 2019
Hệ gợi ý của Tinder lưu document người dùng trong Elasticsearch (6.3); mỗi lượt lấy gợi ý là một query lọc rồi sắp theo hàm relevance viết bằng Painless script.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- 25% or 6 to 4: The 11/6/23 Authentication Outage Bài tóm tắt · Discord · 2023
…sẽ vận hành khác cụm lớn (tăng replication factor, hoặc cụm hot-standby ở region khác, cái sau làm phức tạp mô hình nhất quán của xác thực). Vì sao - "Chịu được mất một zone" chỉ đ…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…nh: BEAM cho xem mailbox của từng process (Recon), thậm chí hotpatch. Bài học cho SWE - Rate limit phải được chỉnh lại khi topology đổi (VM → nhiều pod hơn). Giới hạn "theo host" t…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…ũ). - Panda có commit timestamp đơn điệu theo key, đọc snapshot theo timestamp, GetLatest trả kèm read timestamp, và Write(..., maxPermittedCommitTimestamp) từ chối nếu commit time…
- Migrating Large-Scale Interactive Compute Workloads to Kubernetes Without Disruption Bài tóm tắt · Uber · 2025
…cục bộ, package đã cài); - Docker checkpoint và volume snapshot không dùng được hoặc không đủ nhanh; - giữ toàn bộ môi trường trên NFS thì quá nhiều file nhỏ, tốn IOPS; - giải pháp…
- A deep dive into Cloudflare's September 12, 2025 dashboard and API outage Bài tóm tắt · Cloudflare · 2025
…dashboard cùng xác thực lại một lúc, bị bug khuếch đại. Họ hotfix bug và thêm độ trễ ngẫu nhiên (jitter) cho retry phía dashboard. - Cấp thêm nhiều tài nguyên cho Tenant Service;…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
…rút kết nối, chuyển lease, restart, node quay lại nhận snapshot; client kết nối lại dồn dập). Đối phó bằng admission control : ưu tiên traffic của client hơn việc nền, và tiết lưu…
- GitLab Công ty Thành viên
GitLab.com (~3 triệu user, 2019) dùng một replica Postgres trễ 8 giờ để khôi phục sau một lần xoá nhầm trong 90 phút . Cùng năm, team Delivery bỏ release tháng có feature freeze và làm continuous delivery ngay trên hạ…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…over thì luồng CDC gãy, phải khởi tạo lại connector và snapshot lại; 2. thay replica (basebackup mới): replica mới chưa đủ điều kiện cho tới lần poll tiếp của CDC (ví dụ 6 giờ); mọ…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
Postgres chính của Inngest giữ dữ liệu quản lý account (account, workspace, cấu hình). Service hỏi nó định kỳ (quyền theo gói, account chạy trên phần hạ tầng nào) qua PgBouncer, và mọi service dùng chung các pool.
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
Một cụm duy nhất 7.500 node, chọn vì hạ tầng đơn giản cho phép team nghiên cứu scale mà không đổi code.
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…sul KV trước khi node vào cụm, nên ZK cũng chạy bằng ASG. - Hot spot là gốc của mất ổn định: - Đặt số partition là bội số của số broker và số consumer đều trên các node; khi thêm b…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…i mới mở rộng. - Nâng cấp kiểu rolling, mọi thứ có dư thừa; hot patch không cần restart là hiếm. - Việc còn treo (2014): nạp lại DB rất lâu và hay lỗi khi dữ liệu lớn; công cụ xem…
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…S , chạy trên EC2 + ASG, dữ liệu trên EBS (backup bằng snapshot), seed provider dựa trên synapse. - Vòng đời cụm do Taskerman (task manager phân tán tự viết trên ZooKeeper + SQS) q…
- Meet Bandaid, the Dropbox service proxy Bài tóm tắt · Dropbox · 2018
…: dùng cho canary theo tỉ lệ (90/10, đổi trong vài giây nhờ hot reload) và cô lập route quan trọng với route phụ trên cùng host. Dequeue theo priority có tham số chống starvation.…