Engineering Multi-Agent AI Teams That Build and Test Themselves

Salesforce · 2026 · 3. Quy mô lớn · Độ khó: Nâng cao — bài gốc

Bài dạng hỏi–đáp (Engineering Energizers) với nhóm AI Delivery của Marketing Cloud; không có số liệu chất lượng ngoài thời gian dựng.

Bối cảnh

• Engineer ở Marketing Cloud dựng "đội agent" (nhiều agent phối hợp) bằng tay: viết YAML, prompt, profile, công cụ, model, ngân sách, giới hạn lượt; chạy thử, đọc output từng agent, chẩn đoán, sửa cấu hình, chạy lại; rồi còn phải dựng cả agent kiểm tra công việc của agent khác. Mỗi đội mất 2–4 giờ.

Thay đổi chính

• Agent Designer: một orchestrator và 7 agent chuyên trách, mỗi agent có model, ngân sách và giới hạn lượt riêng. Ba agent phân tích (kiến trúc, failure mode, tuân thủ) chạy song song; orchestrator tổng hợp rồi dừng chờ engineer duyệt vai trò, công cụ, ngân sách, yêu cầu kiểm tra; sau đó agent khác viết file, kiểm, chạy kịch bản test, chẩn đoán và sửa có giới hạn. Orchestrator bị cấm tự viết file agent: chỉ điều phối và kiểm.
• Ranh giới quyền ghi: spec agent không có trường phạm vi ghi, nên ranh giới được ép trong prompt để các agent không sửa chồng artifact hay tự nhận quyền không được giao. Đội tạo ra phải có đúng một coordinator và qua lệnh kiểm tương thích backend/model.
• Mâu thuẫn khi gộp: ba phân tích song song không thấy nhau có thể từng cái hợp lệ mà gộp lại thì không dựng được (topology vượt ngân sách mà agent tuân thủ phát hiện sau). Orchestrator phát hiện và sửa có giới hạn khi tổng hợp thay vì chạy lại từ đầu.
• Ngân sách theo topology: một file cấu hình giữ ngân sách, giới hạn lượt, trần chi phí theo tầng; công thức khác nhau theo kiểu: kiểm phẳng cho một agent, items × cost × steps cho swarm, trần toàn đội cho team. Orchestrator có 500 lượt, chia cho phân tích, chờ duyệt, sinh file, test, sửa; tiêu quá tay ở pha đầu thì hết lượt để kiểm.
• Verifier có cấu trúc: mỗi verifier trả khối PASS/WARN/FAIL thay vì văn xuôi; quy tắc kiểu "không chắc thì WARN, đừng FAIL"; orchestrator kiểm chéo giữa các verifier (meta-check) vì không verifier nào được tin riêng lẻ.
• Tự sửa có trần: "test doctor" phân loại lỗi (vi phạm, bị chặn quyền, lỗi công cụ, lỗi khởi động, soft failure chạy bình thường mà kết quả sai, vòng lặp vô hạn, hỏng trạng thái); tối đa 2 lần sửa và 3 USD, quá thì dừng và chuyển người.

Vì sao

• Theo Salesforce: thời gian dựng một đội agent từ 2–4 giờ xuống khoảng 15–30 phút; khoảng 200 engineer Marketing Cloud bắt đầu làm theo mô hình "quản lý agent".
• Vòng tự sửa không giới hạn có thể đốt lượt và tiền trong khi làm hệ tệ hơn nếu chẩn đoán sai; vì chẩn đoán không tất định, hành vi dừng quan trọng ngang hành vi sửa.

Bài học cho SWE

• Tách quyền điều phối khỏi quyền ghi: bên quyết định không tự làm, bên làm không tự duyệt.
• Kết quả kiểm phải máy đọc được (PASS/WARN/FAIL) thì mới gộp, so và chặn được.
• Mọi vòng tự động có thể lặp (retry, tự sửa) cần trần số lần và trần chi phí, kèm đường chuyển cho người.

Liên quan

• Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn)
• Shopify 2026 (cổng không tự miễn) · DoorDash 2026 · Anthropic 2025 · Salesforce 2026