Infrastructure update: evolution of the Dropbox backbone network

Dropbox · 2017 · 3. Quy mô lớn · Độ khó: Nâng cao — bài gốc

Bối cảnh

Đưa hàng trăm PB dữ liệu về data center riêng (Dropbox 2016) trong khi user vẫn tăng đòi hỏi mạng phải lớn nhanh. Họ xây song song một edge network toàn cầu và một backbone nối các data center ở Bắc Mỹ với nhau và với các edge node. Đầu 2015 mục tiêu là: chịu 10 lần quy mô, độ tin cậy 99,999%, hiệu năng tốt hơn cho user.

Thay đổi chính

2015, lên kế hoạch và đổi công nghệ:
- Định tuyến nội bộ OSPF → IS-IS (Q2/2015) vì muốn chạy IPv4 lẫn IPv6 mà không phải duy trì hai phiên bản OSPF.
- iBGP route reflector làm tải lệch (chỉ quảng bá một đường tốt nhất), tính năng Add-Path còn nhiều bug. Họ chuyển sang full mesh iBGP + chia vùng: route của transit provider (phần lớn traffic) chỉ giữ trong vùng gốc.
- MPLS RSVP-TE với nhiều LSP ưu tiên khác nhau: traffic của user luôn đi đường ngắn; khi thiếu băng thông thì traffic nội bộ bị đẩy sang đường dài trước.
- QoS bốn lớp: Network_Control > Premium (user) > Default (nội bộ) > Best_Effort (bỏ trước khi nghẽn). Các team tự gắn nhãn traffic ngay trên host.
2016, tái kiến trúc: trước đây một loại thiết bị làm cả ba vai trò (router data center, backbone, peering). Thay vì mở rộng ngang theo cách cũ (đắt, phức tạp), họ tách hai tầng: tầng DC mới cho traffic giữa các data center (nhiều gấp ~2 lần traffic user), tầng cũ cho traffic user. Họ thuê dark fiber và tự chạy thiết bị quang để thêm dung lượng nhanh hơn so với mua băng thông.
2017: sau khoảng 8 tháng đánh giá thiết bị, nhiều bó 10G được thay bằng 100G (6/2017, kể cả tuyến xuyên Đại Tây Dương), tổng dung lượng WAN tăng ~300%. IPv6 hoàn tất cho toàn mạng (Q1/2017).

Vì sao

Theo Dropbox: kéo dữ liệu từ cloud về nhà nghĩa là tự gánh luôn phần mạng; dự báo traffic tăng theo cấp số nhân.

Bài học cho SWE

Build thay vì buy kéo theo cả chuỗi việc phụ: rời S3 thì phải tự xây cả backbone, edge, quang học.
Tách traffic theo loại (user và nội bộ) cả ở mức kiến trúc lẫn ưu tiên. Đây là bulkhead ở tầng mạng.
Khi thiết kế cũ chạm trần, có lúc tái kiến trúc rẻ hơn tiếp tục nhân bản theo chiều ngang.
Bài dày thuật ngữ mạng; với SWE ứng dụng, giá trị chính là tư duy ưu tiên traffic và tách tầng.