Zalando
Mạch tiến hoá
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read API (cache + consistent hashing, p99 dưới 10 ms) Zalando 2025. Ở mảng khác, "microservice hôm qua thành monolith hôm nay": team Returns tách logic trả hàng khỏi một monolith bằng parallel run Zalando 2021. Năm 2026 họ thay join stream tự viết (không checkpoint, phải cấp dư pod) bằng Flink, giảm chi phí hơn một nửa Zalando 2026. Cũng năm 2025, một client nội bộ hợp lệ với vài chục query aggregation mỗi giây đã "DoS" cụm Elasticsearch của search Zalando 2025. Năm 2024, việc scale Elasticsearch theo lịch bị kẹt ba sáng liên tiếp vì hai bug của operator Zalando 2024. Ở phía vận hành, từ 2019 Zalando gom playbook sự cố (thủ tục giảm cấp được chủ sở hữu kinh doanh duyệt trước) về một chỗ; đến 2023 có hơn 1.200 playbook cho 100+ team trực Zalando 2023. Sớm hơn, năm 2016, hệ tích hợp đối tác Java/SOAP chỉ có backend được lên kế hoạch làm lại thành API REST trên AWS kèm giao diện cho đối tác tự quản lý Zalando 2016. Từ 2023, nhóm datastore đọc hàng nghìn postmortem bằng một pipeline LLM nhiều tầng và rút ra rằng sự cố chủ yếu đến từ cách dùng (cấu hình, capacity) Zalando 2025; cùng giai đoạn, mảng quảng cáo chia ngân sách theo biến thể để thí nghiệm trên thị trường hai phía đáng tin Zalando 2026. Năm 2022, Zalando Payments tách việc phát event khỏi request đồng bộ bằng transactional outbox dựa trên DynamoDB Streams và Lambda, chấp nhận event lệch thứ tự để request chỉ còn phụ thuộc DynamoDB Zalando 2022.
Timeline
Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).
| Năm | Giai đoạn | Thay đổi | Nguồn |
|---|---|---|---|
| 2016 | 2. Tăng trưởng | Microservices CRUD + event stream sản phẩm, không có read API. | Zalando 2025 |
| 2016 | 2. Tăng trưởng | Merchant Center làm lại (kế hoạch): Partner Program Java/SOAP chỉ có backend sang REST, Scala/Akka trên AWS, có frontend cho đối tác. | Zalando 2016 |
| 2019 | 3. Quy mô lớn | Gom playbook sự cố (chuẩn bị Cyber Week); đến 2023 hơn 1.200 playbook giảm cấp được duyệt trước. | Zalando 2023 |
| 2021 | 4. Điều chỉnh | Tách logic trả hàng khỏi monolith bằng parallel run, ngưỡng nhất quán theo từng endpoint. | Zalando 2021 |
| 2022 | 4. Điều chỉnh | PODS: tách Product khỏi Offer; Product Read API, cache theo consistent hashing + bounded load; team theo CQRS. | Zalando 2025 |
| 2022 | 3. Quy mô lớn | Transactional outbox trên AWS: DynamoDB Streams làm outbox, Lambda phát lên Nakadi, SQS DLQ + CronJob gửi lại; không giữ thứ tự event. | Zalando 2022 |
| 2023 | 3. Quy mô lớn | Đọc hàng nghìn postmortem bằng pipeline LLM nhiều tầng có người kiểm; sự cố datastore chủ yếu do cách dùng, kiểm chứng IaC chặn 25% sự cố datastore về sau (bài 9/2025). | Zalando 2025 |
| 2023 | 3. Quy mô lớn | ZMS Budget Split: chia ngân sách chiến dịch theo biến thể để thí nghiệm quảng cáo không ăn ngân sách của nhau; 8 → hơn 60 thí nghiệm (2023–2025, bài 9/2026). | Zalando 2026 |
| 2024 | 3. Quy mô lớn | es-operator kẹt khi scale Elasticsearch theo lịch: retry không huỷ được, node zombie. | Zalando 2024 |
| 2025 | 4. Điều chỉnh | Join event quảng cáo tự viết → Flink (checkpoint 3 phút); shadow 4 tuần + A/B; chi phí EC2 từ khoảng 80 xuống khoảng 30 €/ngày. | Zalando 2026 |
| 2025 | 3. Quy mô lớn | Sự cố search: client nội bộ gửi aggregation trên SKU làm sập cụm Elasticsearch; tách thị trường, rate limit theo loại client. | Zalando 2025 |
Concept liên quan
- Cache và invalidation
- Chi phí hạ tầng và build vs buy
- Event-driven, message queue và Kafka
- Giao dịch phân tán và nhất quán xuyên service
- Hạ tầng tìm kiếm
- Hot partition và thundering herd
- Load shedding, rate limit và backpressure
- Migration không downtime
- Monolith và microservices — đi và quay lại
- Pipeline dữ liệu và analytics
- Realtime và fan-out
- Stream processing
- Sự cố và postmortem
- Thử nghiệm A/B và nền tảng experimentation
- Tự động hoá vận hành và auto-remediation
- Xử lý sự cố và on-call