Replicate
Mạch tiến hoá
Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên wiki chỉ giữ 13 bài có nội dung hệ thống. Năm 2023 họ nêu lý do lập công ty: model ML khó chạy và khó triển khai, cần một "hộp chuẩn" (Cog) và nơi đặt model có API sinh sẵn Replicate 2023; ý đó thể hiện ở LoRA, nơi mọi người chạy chung một model luôn bật và chỉ khác file nhỏ đầu vào nên không cold boot Replicate 2023, ở việc phát token qua server-sent events Replicate 2023, ở AutoCog dùng GPT-4 sinh cấu hình Cog Replicate 2023, ở grammar để ép đầu ra LLM khớp JSON Schema Replicate 2023 và ở phép so chi phí embedding theo giây phần cứng Replicate 2023. Năm 2024 trọng tâm chuyển sang tốc độ và độ an toàn: lỗ hổng network namespace dùng chung giữa model và director do Wiz báo, sửa bằng bỏ quyền network thô và mã hoá TLS nội bộ Replicate 2024; FLUX nhanh nhờ fp8, torch.compile và synchronous API, kèm cờ tắt tối ưu Replicate 2024, rồi bản fine-tune nhanh bằng gộp LoRA vào model nền và định tuyến theo bản đã nạp Replicate 2024; GPU A40 bị bỏ để chuyển sang L40S với phép tính chi phí trên mỗi công việc Replicate 2024. Năm 2025: cache artifact torch.compile cắt cold boot 2–3 lần Replicate 2025, TaylorSeer bỏ bớt bước khử nhiễu bằng cache đạo hàm Replicate 2025, và server MCP remote chạy trên Cloudflare Workers, lọc phản hồi bằng jq để khỏi đầy context window Replicate 2025.
Timeline
Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).
| Năm | Giai đoạn | Thay đổi | Nguồn |
|---|---|---|---|
| 2023 | 1. Khởi đầu | Bài luận lý do lập công ty: ML khó chạy và khó triển khai; Cog là hộp chuẩn, Replicate là nơi đặt model với API sinh sẵn (bài 2/2023). | Replicate 2023 |
| 2023 | 1. Khởi đầu | LoRA cho Stable Diffusion: train vài phút, file nhỏ, mọi người chạy chung một model luôn bật nên không cold boot (bài 2/2023). | Replicate 2023 |
| 2023 | 1. Khởi đầu | AutoCog: GPT-4 sinh cog.yaml và predict.py, vòng chạy-sửa tối đa năm lần, xếp hạng file vì giới hạn ngữ cảnh (bài 4/2023). | Replicate 2023 |
| 2023 | 2. Tăng trưởng | Server-sent events cho model ngôn ngữ: stream URL riêng, sự kiện output/error/done, Cog yield token (bài 8/2023). | Replicate 2023 |
| 2023 | 2. Tăng trưởng | Grammar của llama.cpp ép đầu ra Llama 2 khớp JSON Schema; thử trích thông tin chuyến bay từ email (bài 10/2023). | Replicate 2023 |
| 2023 | 2. Tăng trưởng | Embedding BGE chạy trên Replicate: 5,12 triệu token trong khoảng 152 giây, khoảng 0,11 đô, theo Replicate rẻ hơn hơn 4 lần so với OpenAI Ada v2 (bài 11/2023). | Replicate 2023 |
| 2024 | 3. Quy mô lớn | Wiz báo model và director dùng chung network namespace; bỏ NET_ADMIN/NET_RAW ngày 2/2, TLS nội bộ từ 20/2; không thấy dấu hiệu khai thác (bài 5/2024). | Replicate 2024 |
| 2024 | 3. Quy mô lớn | FLUX nhanh: fp8 + torch.compile + cuDNN attention + synchronous API; schnell 0,29 giây, dev 3,03 giây; go_fast tắt được, mã mở (bài 10/2024). | Replicate 2024 |
| 2024 | 4. Điều chỉnh | A40 bị bỏ, chuyển sang L40S nhanh hơn khoảng 40%; giá theo công việc, đổi lịch hai đợt và giảm instance tối thiểu (bài 11/2024). | Replicate 2024 |
| 2024 | 3. Quy mô lớn | Fine-tune FLUX nhanh bằng model gốc: lượng tử hoá LoRA fp8 rồi gộp vào nền, định tuyến tới instance đã nạp (bài 11/2024). | Replicate 2024 |
| 2025 | 4. Điều chỉnh | Cache artifact torch.compile theo version model, lưu gần node GPU; theo Replicate cold boot nhanh hơn 2–3 lần (thông báo ngắn, bài 9/2025). | Replicate 2025 |
| 2025 | 4. Điều chỉnh | TaylorSeer: cache đạo hàm đặc trưng, ước lượng bước bỏ qua, giảm khoảng 30 bước xuống 10–15 lần gọi model (bài 7/2025). | Replicate 2025 |
| 2025 | 3. Quy mô lớn | MCP remote trên Cloudflare Workers: token lưu trong KV sau OAuth, lọc phản hồi API bằng jq do model tự sinh (bài 8/2025). | Replicate 2025 |
Concept liên quan
- Bảo mật hạ tầng và quản lý secret
- Batching và khấu hao round-trip
- Cache và invalidation
- Chi phí hạ tầng và build vs buy
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn)
- Hạ tầng phục vụ LLM inference
- Load test và kiểm chứng capacity
- Migration không downtime
- Multi-tenancy và cô lập tenant
- Nền tảng ML (feature, training, serving, giám sát model)
- Realtime và fan-out
- Incident và postmortem
- Xác thực và phân quyền (authn/authz)