Machine learning needs better tools

Replicate · 2023 · 1. Khởi đầu · Độ khó: Dễ — bài gốc

Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo).

Bối cảnh

Bài luận do một đồng sáng lập (từng làm Docker Compose) viết về lý do lập Replicate. Đây là quan điểm của công ty, không có số đo.
Từ đầu 2021, các notebook như The Big Sleep và VQGAN+CLIP khiến người không thuộc phòng thí nghiệm cũng làm được thứ hay ho từ model có sẵn; Stable Diffusion (mã nguồn mở, trong khi DALL-E đóng) làm bùng nổ các bản fork.

Vấn đề họ thấy: dùng thật thì toàn script Python lộn xộn, Colab hỏng, lỗi CUDA, tensor lệch hình. Từ Andreas Jansson (từng làm ML ở Spotify): model mã nguồn mở nằm rải trong PDF, code rời và weight trên Drive nên khó chạy; còn đưa lên production thì nhà nghiên cứu phải ngồi cùng kỹ sư chọn API, viết server, đóng gói phụ thuộc, vật lộn CUDA, mất nhiều tuần.
Hướng giải quyết: định nghĩa một "chiếc hộp chuẩn" cho model. Cog đóng gói model vào container (tác giả gọi là Docker cho ML); Replicate là nơi đặt model, sinh sẵn API server và chạy trên cluster GPU, gọi bằng vài dòng code.
Lập luận thị trường: ước tính khoảng 30 triệu kỹ sư phần mềm so với khoảng 500 nghìn kỹ sư ML. Họ cho rằng rào cản là công cụ chứ không phải công nghệ: dùng model nên giống import một package npm.

Chuẩn hoá đơn vị triển khai (container cộng API sinh tự động) tách người làm model khỏi hạ tầng; cùng ý tưởng với PaaS cho web.
Đọc bài như tuyên bố động cơ của nhà cung cấp: các nhận định về "ML khó vì thiếu công cụ" chưa kèm đo đạc.