Introducing LoRA: A faster way to fine-tune Stable Diffusion

Replicate · 2023 · 1. Khởi đầu · Độ khó: Dễ — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

DreamBooth (cuối 2022) cho phép dạy Stable Diffusion về một đối tượng hay phong cách riêng, nhưng mỗi lần train ra một model riêng phải đẩy lên và boot. Simo Ryu áp dụng LoRA (Low-Rank Adaptation, kỹ thuật của nhóm nghiên cứu Microsoft) lên Stable Diffusion; Replicate hợp tác đưa lên nền tảng.

LoRA chỉ lưu phần chênh lệch so với model gốc (bài ví như một bản diff), không lưu cả model. Theo bài, train mất vài phút so với khoảng 20 phút của DreamBooth, và kết quả nhỏ nên dễ lưu, chia sẻ.
Điểm vận hành: với DreamBooth, mỗi model của người dùng là một model riêng, chỉ ấm khi đang dùng. Với LoRA, mọi người chạy chung một model lora luôn bật; thứ riêng của từng người chỉ là file .safetensors (URL do Replicate lưu vô thời hạn) đưa vào làm đầu vào. Vì vậy không có cold boot.
Ghép được nhiều concept trong một ảnh bằng <1>, <2> trong prompt (còn thử nghiệm).
Đánh đổi (theo thử nghiệm của Replicate): hợp phong cách hơn, khuôn mặt kém hơn DreamBooth.

Chuyển "mỗi khách một model" thành "một model chung cộng tham số nhỏ của khách" biến bài toán cold boot thành bài toán tải một file nhỏ.