Tìm kiếm
19 kết quả cho “streaming LLM”. Tìm không phân biệt dấu.
- Streaming output for language models Bài tóm tắt · Replicate · 2023
…trưởng · Độ khó: Dễ — [bài gốc](https://replicate.com/blog/streaming) Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo). Bối…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…người quản trị nhận alert. Chuyển ingest của Data 360 sang streaming và đơn giản hoá query để đánh giá alert thường hơn; còn vài phút . Mục tiêu điều tra: dưới 120 giây từ lúc bấm…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một data…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn incident bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một incident đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Replicate Công ty Thành viên
Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…
- Scryer: Netflix's Predictive Auto Scaling Engine Bài tóm tắt · Netflix · 2013
…n, availability tốt hơn, chi phí EC2 giảm. Vì sao - Traffic streaming có chu kỳ rõ; latency khởi động instance dài làm mô hình phản ứng luôn chậm một nhịp. Bài học cho SWE - Autosc…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
Nhiều tính năng của Zillow (Zestimate, gợi ý nhà, floor plan, semantic search) chạy bằng model ML. Đưa một model đã train lên làm web service cần nhiều logic nghiệp vụ quanh nó: tiền xử lý request, trích feature tức…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…iá trị feature đổi trong một cửa sổ 15 phút thông thường. - Streaming cho tín hiệu nhanh (hoạt động cộng tác, tương tác nội dung). - Ghi thẳng cho feature nhẹ hoặc tính sẵn, ví dụ…
- Jet-setting with Llama 2 + Grammars Bài tóm tắt · Replicate · 2023
Prompt, ví dụ mẫu và fine-tune chỉ làm lệch đầu ra về hướng mong muốn; với việc cần cú pháp tuyệt đối thì bài cho rằng chỉ grammar mới chắc chắn. Tác giả làm một bản thử sau hackathon của Replicate (9/2023).
- Announcing Replicate's remote MCP server Bài tóm tắt · Replicate · 2025
Bài ra mắt server MCP remote (mcp.replicate.com) cho Claude, Cursor, VS Code tìm, so sánh và chạy model; giữ phần thiết kế.