A look inside our sixth generation of server hardware

Dropbox · 2022 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

Gần một thập kỷ Dropbox tự vận hành hạ tầng phần cứng, có một trong số ít hệ lưu trữ cỡ exabyte. Từ khi làm Magic Pocket (2013), team phần cứng tự thiết kế để kiểm soát chi phí và hiệu năng.
Có hơn 100 service. Thiết kế máy riêng cho từng service ("snowflake") nghĩa là duy trì hơn 100 cấu hình. Họ chọn vài thiết kế đa dụng ("sedan gia đình" thay vì "xe thể thao").

Storage (Scooby): đồng thiết kế với team Magic Pocket; hơn 100 ổ HDD 3,5" mỗi chassis, hơn 2 PB mỗi máy, hơn 20 PB mỗi rack (8 chassis), NIC 100 Gb.
Database (Diego): cho Edgestore, File Journal, metadata của Magic Pocket: mật độ rack gấp đôi, CPU nhiều hơn 60%, SSD NVMe 16 TB (gấp đôi flash thế hệ trước).
Compute (Cartman): máy 1U cấp thấp, 46 máy/rack: 48 core, 256 GB RAM, NIC 25 Gb; nhanh và mạnh gấp 3 lần thế hệ trước, chủ yếu nhờ multi-tenancy (nhiều ứng dụng dùng chung máy) và xu hướng CPU nhiều core hơn.
Edge (Coco): máy ở POP nhận/mã hoá traffic: mật độ rack tăng 17%, core tăng 50%, mạng nhanh hơn 25%, RAM gấp 3.
Thế hệ 7: tiếp tục tối ưu multi-tenancy và tầng database; thử ổ HAMR và bộ tăng tốc cho ML. Theo bài, Dropbox đi sớm với CPU AMD Naples/Rome và ổ SMR.

Ở quy mô exabyte, tự thiết kế phần cứng và làm mới theo chu kỳ cho phép tối ưu chi phí và mật độ theo workload thật; giữ số loại máy ít để không phải duy trì hàng trăm cấu hình (Chi phí hạ tầng và build vs buy).

Chuẩn hoá vài loại máy đa dụng thay vì máy riêng cho mỗi service; dồn nhiều ứng dụng lên máy compute lớn hơn.
Đồng thiết kế phần cứng với team phần mềm tiêu thụ nó (Magic Pocket) là lợi thế chỉ có khi tự làm.