Secure by default: WarpStream's BYOC deployment model

WarpStream · 2024 · 3. Quy mô lớn · Độ khó: Cơ bản — bài gốc

Bài của nhà cung cấp, giọng quảng bá; mọi nhận định ở đây là theo WarpStream. Giữ lại vì nó nêu rõ một hệ quả kiến trúc: tách compute/storage và dữ liệu/metadata thay đổi được mô hình quyền truy cập của nhà cung cấp.

Bối cảnh

• Hai mô hình triển khai hạ tầng dữ liệu quen thuộc: tự quản lý (mua license) và SaaS (nhà cung cấp chạy trong cloud của họ). BYOC chia phần mềm thành control plane (ở nhà cung cấp) và data plane (compute + storage ở tài khoản khách): dữ liệu không rời môi trường của khách, khách tự chọn instance, dùng giảm giá cam kết, và với Kafka thì tránh phần lớn phí mạng.
• Theo WarpStream, BYOC cho Kafka trước đây hiếm vì Kafka có trạng thái trên đĩa cục bộ (hot partition, lệch dung lượng, partition thiếu replica) cần quản lý liên tục, nên nhà cung cấp phải có quyền rộng vào môi trường khách: VPC, service account, subnet, IAM role, firewall, bucket.

Thay đổi chính

• BYOC không cần quyền truy cập: Agent của WarpStream chỉ cần quyền vào một bucket object storage và một kết nối outbound tới control plane; không IAM role hay policy rộng nào cấp cho nhà cung cấp.
• Có được nhờ kiến trúc zero-disk: tách compute khỏi storage và tách dữ liệu khỏi metadata. Agent là compute không trạng thái (không bầu leader, không rebalance partition, không resize đĩa), scale như web server.
• Chia trách nhiệm: nhà cung cấp cloud lo storage, khách lo compute không trạng thái (có Terraform provider, Helm chart), WarpStream Cloud lo lớp metadata/consensus. Chỉ metadata đi sang phía WarpStream; dữ liệu thô không rời môi trường khách.

Vì sao

• Theo WarpStream: kể cả khi tài khoản cloud của họ bị chiếm hoặc họ bị cơ quan nhà nước yêu cầu, họ cũng không có đường vào dữ liệu khách; có khách chạy production trên AWS GovCloud.
• Đánh đổi: khách phải tự vận hành compute; theo bài đó là thứ mọi đội chạy trên cloud đã biết làm.

Bài học cho SWE

• Phần nào giữ trạng thái quyết định ai phải có quyền vào đâu: khi data plane không trạng thái, bên vận hành từ xa không cần quyền vào hạ tầng của khách.
• "Chỉ outbound, chỉ một bucket" là bề mặt quyền nhỏ, dễ audit; so với BYOC truyền thống cần quyền quản trị cả VPC.

Liên quan

• WarpStream 2025 · WarpStream 2025 · Fly.io 2024 (credential suy ra từ hành động, khoá vào đúng máy)
• Bảo mật hạ tầng và quản lý secret · Tách compute khỏi storage