KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure

Meta · 2026 · 3. Quy mô lớn · Độ khó: Nâng cao — bài gốc

Phần ML (model xếp hạng quảng cáo) chỉ tóm tắt ngắn; trang này giữ phần hệ thống: agent sinh code đặt trong vòng tìm kiếm có harness đánh giá.

Bối cảnh

• Fleet phần cứng của Meta không đồng nhất: GPU NVIDIA, GPU AMD, chip MTIA tự làm (4 thế hệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từng chip; số kernel = {loại và thế hệ phần cứng} × {kiến trúc model} × {số operator}, ra hàng nghìn cấu hình.
• Thư viện của hãng (cuBLAS, cuDNN) chỉ phủ phép toán phổ biến; đuôi dài operator riêng (biến đổi tiền xử lý như hash đặc trưng, bucket, cắt chuỗi; tầng tương tác đặc trưng hợp nhất) không có bản tăng tốc, nên hoặc rơi về CPU (buộc tách serving, thêm latency) hoặc chạy đường chưa tối ưu. Chuyên gia kernel viết tay không theo kịp.

Thay đổi chính

• Tối ưu kernel như bài toán tìm kiếm, không phải sinh code một lần: một harness chạy dài biên dịch từng ứng viên, kiểm đúng (khớp bitwise với bản tham chiếu) và đo hiệu năng, profile phần cứng, sinh báo cáo, xử lý vòng build nhiều phút và lỗi hạ tầng.
• Tree search (Monte Carlo tree search, chiến lược tiến hoá): mỗi ứng viên là một nút; nút mới lấy ngữ cảnh từ cha (đào sâu hướng tốt), từ anh em (so cái gì làm nên khác biệt), cả hai, hoặc bắt đầu sạch để thoát cực trị địa phương.
• Kho tri thức truy xuất theo tín hiệu: ràng buộc đúng đắn, hướng dẫn tối ưu chung, tài liệu riêng từng chip (kể cả MTIA mà không model công khai nào từng thấy); nghẽn băng thông bộ nhớ thì kéo tài liệu phân cấp bộ nhớ, lỗi biên dịch thì kéo hướng dẫn debug. Chiến lược thành công được chưng thành skill ghi ngược vào kho; lịch sử phiên dùng để post-train model nhỏ hơn bằng RL với phần thưởng là hiệu năng đo được.
• Đánh giá nhiều tầng: TritonBench (đúng và tăng tốc trên shape production), PyTorch Profiler (timeline hệ thống), NCU/Proton cho GPU, MTIA Insight cho MTIA; hợp qua job graph để agent thấy vì sao (nghẽn bộ nhớ, tính toán hay occupancy), không chỉ "nhanh hơn 1,2 lần".
• Hàng nghìn ứng viên đánh giá song song trên hạ tầng phân tán; cây tìm kiếm lưu bền để dùng lại cho model hay chip mới.

Vì sao

• Theo Meta: trên GPU NVIDIA, thông lượng inference model quảng cáo Andromeda tăng hơn 60% so với bản đã có torch.compile và thư viện hãng; trên MTIA, thông lượng training một model quảng cáo tăng hơn 25%; công việc nhiều tuần của chuyên gia còn vài giờ. KernelBench (250 bài): 100% đúng và nhanh hơn bản PyTorch.
• Với chip mới, chi phí chuyển từ viết hàng nghìn kernel sang biên soạn tài liệu phần cứng cho kho tri thức.

Bài học cho SWE

• Agent đáng tin ở chỗ có bộ đánh giá tự động đủ giàu: đúng tuyệt đối với tham chiếu, đo trên dữ liệu production, và chẩn đoán lý do để vòng sau sửa có hướng.
• Kết quả tìm kiếm và kinh nghiệm phải lưu bền và dùng chung, nếu không mỗi phiên lại đi lại từ đầu.
• Phần cứng không đồng nhất nhân chi phí phần mềm; tự động hoá ở tầng kernel là cách giữ được lợi ích giá của nhiều nhà cung cấp chip.

Liên quan

• Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) · Chi phí hạ tầng và build vs buy
• Meta 2026 · Cloudflare 2026 (test suite làm đặc tả) · NVIDIA 2026