Jet-setting with Llama 2 + Grammars

Replicate · 2023 · 2. Tăng trưởng · Độ khó: Dễ — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

Prompt, ví dụ mẫu và fine-tune chỉ làm lệch đầu ra về hướng mong muốn; với việc cần cú pháp tuyệt đối thì bài cho rằng chỉ grammar mới chắc chắn. Tác giả làm một bản thử sau hackathon của Replicate (9/2023).

Bộ giải mã có grammar của llama.cpp chặn token sai ngay lúc sinh, nên đầu ra luôn thuộc một ngôn ngữ cho trước. Replicate cung cấp một họ model Llama 2 có hỗ trợ này; tác giả dùng cách đó để ép đầu ra khớp một JSON Schema (sân bay đi và đến, ngày, giờ).
Ví dụ: đưa email xác nhận chuyến bay vào CodeLlama 34B (GGUF) và nhận lại JSON đủ các trường. Cần "dỗ" để model dùng định dạng ngày giờ RFC 3339. (Khối JSON in trong bài thiếu một dấu phẩy, nhiều khả năng do chép tay.)
Tác giả nói rõ không thay được công cụ NLP truyền thống (spaCy, regex) khi có người rành; nhưng khi thiếu thời gian và chuyên môn thì đủ để làm bản mẫu.

Ràng buộc ở bước giải mã bảo đảm cú pháp, khác với nhờ prompt và kiểm lại sau.
Cú pháp đúng chưa bảo đảm giá trị đúng: bài vẫn phải chỉnh để ngày giờ ra đúng chuẩn.