Tìm kiếm

4 kết quả cho “server-sent events”. Tìm không phân biệt dấu.

• Streaming output for language models
  Bài tóm tắt · Replicate · 2023

  Trước đó Replicate chỉ có polling và webhook để lấy kết quả giữa chừng. Với ứng dụng chat, cần một luồng sự kiện cập nhật liên tục; model sinh token một lần một cái nên có thể trả dần.

• Realtime và fan-out
  Chủ đề Thành viên

  Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.

• Hạ tầng phục vụ LLM inference
  Chủ đề Thành viên

  Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:

• Replicate
  Công ty Thành viên

  Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…