Tìm kiếm
10 kết quả cho “Fleet maintenance”. Tìm không phân biệt dấu.
- Rolling the Heroku Redis Fleet Bài tóm tắt · Heroku · 2018
…rung bình — [bài gốc](https://blog.heroku.com/rolling-redis-fleet) Bối cảnh - Heroku quản lý hàng triệu database. Một lỗ hổng Redis bị cấm công bố (CVE-2018-11218) buộc nâng cả fle…
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
Team Messaging (Kafka và PubSub) chạy hàng chục cụm Kafka broker trên hybrid Mesos, mỗi cụm từ vài chục đến vài trăm broker. Dữ liệu replicate n bản nên mất tối đa n-1 máy là an toàn; mất nhiều hơn thì lỗi publish.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Heroku Công ty Thành viên
Nền tảng PaaS, quản lý hàng triệu database cho khách. Nguồn duy nhất trong wiki là bài 6/2018: vá một lỗ hổng Redis bị cấm công bố trên toàn fleet trong năm tuần nhờ image bất biến, thay standby trước rồi failover trong…
- Twitter's Blobstore Hardware Lifecycle Monitoring and Reporting Service Bài tóm tắt · Twitter · 2023
…t và cắt lịch sử còn một tháng. Tool cũng đếm đĩa chết toàn fleet và giới hạn tốc độ gửi máy sang Site Ops theo ưu tiên (số đĩa hỏng): máy chưa tới lượt thì để "chết tại chỗ" tới l…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…