Monzo
Mạch tiến hoá
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service Monzo 2022. Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt tải có điều kiện dựa trên ETag và nguyên nhân request: gần 50% GET bỏ được với độ chính xác khoảng 90% Monzo 2023. Messaging chuyển từ NSQ (không bền) sang Kafka; một client library biến Kafka thành queue bằng cách bỏ thứ tự, có dead letter và xử lý song song trong partition (2024) Monzo 2024. Năm 2020, nền tảng tự lo kích thước service bằng VPA và HPA với ba chế độ Monzo 2020. Cách tổ chức cũng đi theo kiến trúc nhiều service: từ đầu 2021 mỗi team tự trực cho service của mình trên nền tảng alert chung Monzo 2022, và năm 2022 Monzo (148 → 232 engineer) deploy hơn 100 lần mỗi ngày, kiểm soát rủi ro bằng guardrail thay vì người phê duyệt Monzo 2022. Trước bước chuyển 2022, năm 2019 họ đã thêm tuyến specialist theo mảng sau tuyến primary/shadow và bắt đầu gọi thẳng team sở hữu khi alert có chủ rõ Monzo 2019. Ở mảng bảo mật, năm 2019 (khoảng 1.100 microservice) hai cơ chế secret được gộp về một Vault dễ dùng hơn Monzo 2019, và năm 2022 detection rule chuyển từ code Go sang Sigma để analyst tự viết Monzo 2022.
Timeline
Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).
| Năm | Giai đoạn | Thay đổi | Nguồn |
|---|---|---|---|
| 2019 | 3. Quy mô lớn | On-call hai tuyến: primary + shadow (trả £500/tuần) và specialist theo mảng (£300/tuần); alert có chủ gọi thẳng specialist; công cụ Response. | Monzo 2019 |
| 2019 | 3. Quy mô lớn | Gộp Kubernetes secrets và Vault về một Vault cấu hình bằng Terraform; service xác thực bằng service account, engineer tự thêm secret bất biến. | Monzo 2019 |
| 2020 | 3. Quy mô lớn | Autoscaling: ba chế độ ghép VPA/HPA trong công cụ nền tảng; rate limit eviction, PDB. | Monzo 2020 |
| 2021 | 3. Quy mô lớn | On-call 3.0: bỏ tầng trực primary chung, alert định tuyến thẳng tới team sở hữu, thêm technical incident manager. | Monzo 2022 |
| 2022 | 3. Quy mô lớn | Argo Rollouts + rollback tự động theo metric Prometheus cho hơn 2.000 service, migrate bằng migrator service. | Monzo 2022 |
| 2022 | 3. Quy mô lớn | Hơn 100 deploy/ngày, hơn 2.000 service: một review là deploy, guardrail tự động, service tier. | Monzo 2022 |
| 2022 | 3. Quy mô lớn | Detection rule từ hàm Go sang Sigma khi đội security tăng từ 12 lên gần 50 người; thư viện sigma-go, lint và test riêng. | Monzo 2022 |
| 2023 | 3. Quy mô lớn | Load shedding ở edge: ETag mang thời điểm tính + header nguyên nhân request; trả 304 khi quá tải. | Monzo 2023 |
| 2024 | 3. Quy mô lớn | Queue trên Kafka: client library cho 400+ service, dead letter + retry theo consumer group, song song trong partition. | Monzo 2024 |
Concept liên quan
- Bảo mật hạ tầng và quản lý secret
- Cache và invalidation
- Chi phí hạ tầng và build vs buy
- Deploy và release an toàn
- Event-driven, message queue và Kafka
- Hot partition và thundering herd
- Load shedding, rate limit và backpressure
- Migration không downtime
- Monolith và microservices — đi và quay lại
- Nền tảng nội bộ cho service (đường ray chung)
- Tự động hoá vận hành và auto-remediation
- Xử lý sự cố và on-call