GPU-accelerated vector indexing in Elasticsearch with NVIDIA cuVS
Bài tóm tắt Elastic 2026 3. Quy mô lớn Độ khó: Trung bình
Elastic · 2026 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc
Bài ngắn của nhà cung cấp (viết cùng NVIDIA) giới thiệu tính năng; số liệu là benchmark của chính họ trên một máy. Mọi nhận định là theo Elastic.
Bối cảnh
- Dựng index vector trên CPU ở quy mô TB–PB có thể mất nhiều ngày (theo một nguồn Elastic dẫn), cản trở những workload phải dựng lại index thường xuyên: catalog sản phẩm làm mới mỗi đêm, đổi embedding model.
- Dựng index ăn CPU nên khi index và search chạy cùng lúc thì latency search tăng và dao động; sau khi index xong, index phân mảnh vẫn làm search chậm, và force merge trên CPU mất hàng giờ tới hàng ngày.
Thay đổi chính
- Đẩy việc dựng đồ thị HNSW sang GPU bằng NVIDIA cuVS; CPU dành cho query.
- Benchmark (Rally, 138 triệu vector 1.024 chiều của MS MARCO, khoảng 4 TB tài liệu; 8 GPU RTX PRO 6000, 2 socket EPYC 9555; bật/tắt GPU trên cùng máy):
| Chỉ số | CPU | GPU |
|---|---|---|
| Dựng index 138M vector | khoảng 1 giờ | dưới 10 phút (throughput ×7) |
| p90 latency search khi đang index | mốc | thấp hơn 6 lần |
| Force merge (4 segment mỗi shard) | khoảng 4 giờ | khoảng 5 phút |
| Recall ở mục tiêu | 95% | 95% |
- Đường cong throughput–recall của index dựng bằng GPU trùng với bản CPU, nên đồ thị dựng trên GPU không làm giảm chất lượng tìm kiếm.
Vì sao
- Theo Elastic, một cụm có thể vừa nhận dữ liệu thời gian thực vừa trả lời search latency thấp, không phải chọn giữa độ tươi và hiệu năng.
Bài học cho SWE
- Với index ANN, chi phí dựng và gộp index là một trục vận hành riêng (tần suất dựng lại, tranh CPU với query, thời gian hồi phục sau merge), không chỉ latency query.
- Tách việc nặng ở nền sang tài nguyên khác (GPU, máy khác) là một cách cô lập tải, bên cạnh tiết lưu và ưu tiên.
Liên quan
- Elastic 2026 · Memgraph 2026 (ưu tiên giảm RAM) · Cockroach Labs 2025
- Vector search và index ANN
Được nhắc tới trong
Chủ đề (1)
Công ty (1)