Netflix

Mạch tiến hoá

Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native Netflix 2016. Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ đây xuất hiện ý tưởng Chaos Gorilla và hướng đa region Netflix 2011. Đa region lại nhân ba dữ liệu cache, nên EVCache chuyển một phần từ RAM sang SSD Netflix 2018. Về tổ chức vận hành, năm 2020 Netflix mô tả team CORE: các team tự vận hành service của mình, còn CORE canh KPI kinh doanh, chỉ huy sự cố liên team và phân tích sau sự cố Netflix 2020. Ở mảng Studio, năm 2020 một app mới đặt ranh giới repository để đổi nguồn dữ liệu từ monolith sang service mới mà không đụng logic Netflix 2020. Năm 2021 một team sản phẩm của Studio chuyển workflow bất đồng bộ lên nền tảng nội bộ Cosmos để có observability sẵn Netflix 2021. Năm 2022 nền tảng Data Mesh mở rộng từ CDC thành đường mặc định để di chuyển và xử lý dữ liệu giữa các hệ Netflix 2022. Ở mảng dữ liệu, ngay từ 2014 data warehouse đã nằm trên S3 tách khỏi compute, nên thêm Presto cho truy vấn tương tác chỉ là dựng thêm một cụm đọc chung dữ liệu Netflix 2014. Năm 2018, công cụ observability của Netflix bỏ việc lưu hết log, chuyển sang lọc trên luồng, và gom trace theo phiên phát thay vì theo request Netflix 2018. Sự cố ELB của AWS đêm Giáng sinh 2012 cho thấy thiết kế ba AZ không đỡ được lỗi cấp region Netflix 2012; cuối 2013 Netflix chạy active-active giữa hai region ở Mỹ, diễn tập cả cắt mạng giữa region lẫn dồn toàn bộ traffic sang một region…