Tìm kiếm
21 kết quả cho “batch inference”. Tìm không phân biệt dấu.
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ng policy ttft p95 300 ms không bao giờ scale vì continuous batching dồn áp lực hàng đợi vào latency tổng chứ không vào token đầu đo ở engine; policy gpu utilization 75% cũng không…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…- Thử nghiệm online vs offline, loại instance, số instance, batch size; chọn Batch Transform trên CPU : không cần realtime vì có khoảng trễ giữa lúc chụp và lúc dùng kết quả; không…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…a học mới cho các tổng quan hệ thống. Đây là tối ưu một job batch, không phải hạ tầng lớn. Bối cảnh - Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗ…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…của Dynovault, p95 khoảng 25–35 ms . - Nạp theo ba đường: - Batch cho biến đổi lớn trên kiến trúc medallion, kèm phát hiện thay đổi để chỉ ghi bản ghi đã đổi: số bản ghi ghi mỗi lầ…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…g nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML…
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
…l (dự đoán tỉ lệ mua sau click); wiki giữ phần hệ thống: từ batch hằng ngày sang dự đoán online, và cái khó của A/B test khi mọi biến thể dùng chung ngân sách. Bối cảnh - Etsy Ads…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…on, chống gian lận, hỗ trợ) cần feature tính theo hai cách: batch trên data warehouse Hive (ví dụ lịch sử huỷ chuyến một năm của user) và stream từ Kafka (ví dụ giá ước tính cho ch…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…của Metaflow (Zillow có bản riêng zillow-metaflow) dùng cho batch: lớp OnlineFlowSpec khai báo các bước bằng @step / self.next (có thể rẽ nhánh để xử lý song song); decorator ở mức…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…e một lỗi khác của phép approximate top-k, chỉ hiện với vài batch size và cấu hình, thay đổi theo cả việc có bật công cụ debug hay không. Rollback theo từng model (4/9, 12/9), chuy…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- WhatsApp Công ty Thành viên
WhatsApp là ca hiếm: blog kỹ thuật gần như chỉ kể hai giai đoạn, và hai giai đoạn ấy giải hai bài khác hẳn nhau. Giai đoạn Erlang (2011–2014) là câu chuyện tối ưu một hệ nhỏ người: năm 2012, một server FreeBSD + Erlang…