After four years of SMR storage, here's what we love and what comes next

Dropbox · 2023 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bối cảnh

• Theo Dropbox, năm 2018 họ là công ty công nghệ lớn đầu tiên dùng ổ SMR mật độ cao.
• SMR trong fleet: 2019 ~25%; 2023 ~90%.

Thay đổi chính

• Mật độ: SMR tăng dung lượng ~20% so với ổ thường (PMR). Thêm TDMR (hai đầu đọc), nhiều đĩa hơn (ổ mới nhất 9 đĩa, 18 đầu). Số ổ mỗi server tăng 2,8 lần so với thế hệ đầu, phải giữ dưới ngưỡng nhiệt 45°C.
• Điện: điện năng trên mỗi TB giảm 5–6 lần so với ổ 4 TB đầu tiên. Ổ 18–20 TB tiêu thụ ~0,30 W/TB khi idle. Để phục vụ một exabyte, server thế hệ 6 dùng ít hơn 5 MW và chỉ 1/3 diện tích rack so với thế hệ 4.
• Tiền: chứa nhiều hơn 10–20% dữ liệu so với PMR cùng dung lượng với giá gần như không đổi. Một ổ SMR thay được 4–5 ổ 4 TB, nên dung lượng tăng mà diện tích vật lý giảm, kéo theo ít lần sửa chữa hơn.
• Phần mềm: ban đầu tự làm định dạng đĩa + libzbc, không qua filesystem. Nay chuyển sang hỗ trợ zoned device trong kernel Linux + libzbd để bỏ định dạng riêng. Có công cụ SMRtest sinh tải giống production.
• Làm việc với nhà cung cấp: nhà cung cấp chạy thử tải của Dropbox trên đúng phần cứng của Dropbox, ở quy mô 5.000+ ổ (lớn hơn quy mô tự test của họ). Thêm một simulator Magic Pocket nội bộ để có tín hiệu sớm.
• Tương lai:
  • HAMR, hướng tới ổ 50 TB+;
  • trọng tâm chuyển sang chống rung, vì track hẹp nên rung gây lỗi định vị đầu đọc;
  • server thế hệ 7 (>6 PB/khung) buộc thiết kế lại mạng để rút và sửa dữ liệu đủ nhanh;
  • có thể cần ổ dual-actuator để giữ đủ IOPS/TB.

Vì sao

Theo Dropbox: giảm chi phí mỗi exabyte, giảm điện, mục tiêu bền vững. Đây là lợi thế chỉ có được khi tự sở hữu phần cứng.

Bài học cho SWE

• Mật độ tăng thì nút thắt dời chỗ: từ dung lượng sang IOPS/TB, tốc độ sửa dữ liệu qua mạng, độ rung. Cùng mạch với Dropbox 2022.
• Kiểm thử ở quy mô lớn mới lộ ra những bug chỉ xuất hiện sau nhiều giờ chạy hoặc trên nhiều ổ.
• Đây là mặt "lợi" của build vs buy: tối ưu sâu tới tận phần cứng, điều không làm được trên S3 (Dropbox 2016).

Liên quan

• Chi phí hạ tầng và build vs buy