Tách compute khỏi storage

Bài toán

Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:

• Dời compute là dời dữ liệu: thêm node, thay node chết, scale theo giờ cao điểm đều phải chép dữ liệu, mất hàng giờ và tốn mạng.
• Độ bền và năng lực phục vụ dính nhau: muốn thêm năng lực đọc thì thêm một bản sao bền, mà bản sao nào cũng tham gia mọi lần ghi.
• Cấp phát theo đỉnh: đĩa và máy phải đủ cho lúc bận nhất, kể cả khi đêm và cuối tuần gần như rảnh.
• Chi phí mạng giữa AZ: replicate giữa các vùng sẵn sàng tốn tiền theo từng byte.

Tách ra nghĩa là lớp bền (block storage qua mạng, storage dùng chung, object storage như S3, hay một log bền) giữ dữ liệu và độ bền, còn lớp compute gần như không trạng thái, có thể thêm, bớt, thay mà không chép dữ liệu. Đổi lại là latency (mỗi lần ghi phải qua mạng), phụ thuộc vào lớp storage, và thường phải viết lại storage engine.