Data Mesh at Grab Part I: Building trust through certification

Grab · 2025 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Phần 1 của series Data Mesh (Signals Marketplace). Phần 2: Grab 2026 (công cụ); phần 3: Grab 2026 (sự cố dữ liệu tự động). Bài thiên về tổ chức và cách đo, ít chi tiết hệ thống.

Bối cảnh

• Sau khoảng mười năm tăng trưởng (ride hailing, giao đồ ăn, tài chính), Grab đã vượt xa mức một data warehouse do một nhóm trung tâm quản lý. Các team ưu tiên tính năng, việc bảo trì dữ liệu bị đẩy xuống sau.
• Vấn đề theo Grab: không rõ ai sở hữu dữ liệu; không tin pipeline có sẵn nên mỗi team tự dựng pipeline trùng để có thứ mình kiểm soát; nhóm Data Engineering trung tâm thành nút cổ chai; bên sản xuất không biết ai đang dùng dữ liệu của mình nên thay đổi phía trên làm gãy pipeline quan trọng; không có một nguồn sự thật.
• Năm 2024, Grab khởi động data mesh, đặt tên Signals Marketplace.

Thay đổi chính

• Data mesh: dữ liệu là sản phẩm, do team domain sở hữu và phục vụ.
• Chứng nhận (certification) là trục chính: bảng được chứng nhận có cam kết rõ, như SLA của một service (schema, chất lượng, độ tươi).
• Điều kiện để chứng nhận:
  • Sở hữu: mỗi tài sản dữ liệu thuộc một Data Domain, có Business Data Owner và Technical Data Owner (TDO). Lúc đầu gán tự động theo team của người tạo bảng; người tạo đã đổi team hoặc nghỉ việc thì Domain Lead rà lại.
  • Data contract: schema, SLA (độ tươi, đầy đủ, thời gian lưu), thời gian báo trước khi đổi, kênh liên lạc.
• DPI (Data Production Incident) tự động: test chất lượng vi phạm hợp đồng thì tự mở ticket giao cho TDO (chi tiết ở phần 3).
• Chỉ số north star: tỉ lệ query chạm vào tài sản đã chứng nhận. Chỉ số này đẩy hai phía cùng lúc: bên sản xuất chứng nhận các bảng được dùng nhiều nhất, bên dùng chỉ query bảng đã chứng nhận.
• Cách triển khai: lãnh đạo cam kết, chiến dịch toàn công ty có mục tiêu đo được, dashboard chỉ cho từng team bảng nào được dùng nhiều nhất để chứng nhận trước.

Kết quả (theo Grab, 2025)

• 75% query của Grab chạm vào tài sản đã chứng nhận.
• Số bảng bị khai tử tăng 400% so với năm trước: khi rõ ai sở hữu thì thấy được bảng trùng, bảng thừa.
• Số bảng P80 (nhóm bảng chiếm 80% lượng query) giảm hơn 58% từ đầu chiến dịch: việc dùng dữ liệu hội tụ về ít bảng hơn.
• Dữ liệu của một team (ví dụ dữ liệu thời tiết từ IoT) được team khác dùng lại để tối ưu marketplace.

Vì sao

• Theo Grab, tập trung hoá không theo kịp tốc độ dữ liệu được tạo ra ở các team; phải chuyển trách nhiệm chất lượng về nơi gần dữ liệu nhất, kèm cơ chế để bên dùng biết bảng nào đáng tin.

Bài học cho SWE

• Pipeline trùng lặp là triệu chứng của thiếu tin cậy, không phải thiếu kỷ luật: bên dùng tự dựng pipeline khi không biết pipeline có sẵn có được giữ hay không.
• Chọn một chỉ số mà cả hai phía cùng phải kéo (tỉ lệ query vào bảng chứng nhận) hiệu quả hơn ra quy định. Cách này giống mẫu "đổi mặc định ở nền tảng" trong Nền tảng nội bộ cho service (đường ray chung): làm cho lựa chọn đúng thành lựa chọn dễ thấy nhất.
• Gán chủ sở hữu tự động trước rồi cho người rà lại thì nhanh hơn bắt mọi team tự khai.
• Khi đã rõ ai sở hữu, việc khai tử bảng thừa tự tăng lên: thứ không ai nhận là thứ có thể xoá (Pipeline dữ liệu và analytics).

Liên quan

• Grab 2026 · Grab 2026 · Grab 2026
• Pipeline dữ liệu và analytics · Nền tảng nội bộ cho service (đường ray chung)