Tìm kiếm
40 kết quả cho “inference”. Tìm không phân biệt dấu.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…per.nvidia.com/blog/nvidia-dynamo-snapshot-fast-startup-for-inference-workloads-on-kubernetes/) Bài của nhà cung cấp, mô tả prototype; một phần tối ưu CRIU chưa phát hành (chờ merg…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…(https://www.together.ai/blog/autoscaling-endpoints-for-llm-inference) Bài của nhà cung cấp, viết như hướng dẫn dùng tính năng autoscaling cho Dedicated Model Inference; mọi nhận đ…
- Torch compile caching for inference speed Bài tóm tắt · Replicate · 2025
torch.compile phải biên dịch lại mỗi lần container khởi động. Replicate cache artifact biên dịch theo version model, lưu gần node GPU.
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…ó — [bài gốc](https://developer.nvidia.com/blog/restore-llm-inference-capacity-in-seconds-with-shadow-engine-recovery-in-nvidia-dynamo/) Bài của nhà cung cấp về tính năng đang ở dạ…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
Hệ sinh thái model mở đổi nhanh nên đổi checkpoint hay đổi họ model là việc thường xuyên. Hai cách thường làm đều để con người làm cơ chế an toàn: đổi thẳng (mọi user cùng thấy, p95 tăng gấp đôi thì biết qua dashboard…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…vì dễ dùng, tích hợp sẵn với AWS. - Chỉ dùng SageMaker cho inference; train trên máy cục bộ (GPU của SageMaker quá đắt so với lợi ích độ chính xác). - Thử nghiệm online vs offline…
- Learning the language of home buying: Zillow's event-based foundational user behavior model Bài tóm tắt · Zillow · 2026
…hông dùng cho quyết định đủ điều kiện nhà ở hay cho vay . - Inference: bản đầu trên CPU chạy forward đầy đủ cho từng thuộc tính, nhiều worker tranh lõi, gần 8 s/request . Sửa: mỗi…
- Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Bài tóm tắt · Netflix · 2023
…giống nhau, và phía online mỗi model nằm ở một service với inference API riêng. Theo Netflix, đây là nợ kỹ thuật ẩn của hệ ML (dẫn Sculley 2015). Thay đổi chính - Offline: chỉ bướ…
- Why market data is a deep learning challenge Bài tóm tắt · Optiver · 2026
…ằm trong ngân sách latency production, có thể cần phần cứng inference riêng thiết kế cùng kỹ sư FPGA . Vì sao - Theo Optiver, không phải để tự động hoá nghiên cứu; vẫn dùng chuyên…
- How we optimized FLUX.1 Kontext [dev] Bài tóm tắt · Replicate · 2025
Replicate mở mã FLUX.1 Kontext [dev] và giải thích cách tối ưu mà không giảm chất lượng: TaylorSeer (theo bài báo arXiv 2503.06923), cài trong repo cog-flux-kontext.
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
Etsy Ads là đấu giá second-price thời gian thực; năm 2019 mọi seller được chuyển sang giá thầu tự động. Bộ đặt giá cũ tĩnh: ước lượng tỉ lệ mua sau click (PC-CVR) cho mỗi listing một lần mỗi ngày, nên đặt cùng giá lúc…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗi review là một tập bài đã chọn), trong vài giờ. Model chính xác nhất là TF-IDF + cosine với từng bài trong review rồi gộp (ví dụ trung bình…
- Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split Bài tóm tắt · Zalando · 2026
Zalando Marketing Services (ZMS) bán quảng cáo sản phẩm ngay trên trang Zalando (retail media): nhà quảng cáo đấu giá vị trí, khách thấy kết quả, và cả hệ chạy trên một tài nguyên hữu hạn là ngân sách chiến dịch.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn incident bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hệ thống low latency Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, sync thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…i cảnh - Hệ ML của Reddit (2021) phục vụ hàng nghìn request inference mỗi giây cho feed, video, push, email. Inference nằm trong Minsky , một service Thrift Python (baseplate.py) v…
- Together AI Công ty Thành viên
Nhà cung cấp hạ tầng chạy model mở. Hai nguồn trong wiki (2026) đều là bài mô tả tính năng của chính họ cho Dedicated Model Inference: autoscaling theo metric của engine, với thí nghiệm cho thấy trên cùng tải chỉ tín…
- Reddit Công ty Thành viên
Reddit chuyển service từ EC2 Auto Scaling Group (nhiều bản app mỗi VM + sidecar, Terraform/Puppet) sang Kubernetes, giữ nguyên các trừu tượng dev đã quen; mảng Ads tụt lại và chuyển sau, từng phụ thuộc một . Năm 2024,…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…/taming-ml-firehose/) Bối cảnh - Mục tiêu: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đường lệch nhau: - Online: feature truyền vào model…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…ch DynamoDB tự làm của Dropbox. Dynovault đặt cạnh workload inference trên hạ tầng hybrid cloud, không đi qua internet công cộng, latency phía client khoảng 20 ms . - Viết lại đườn…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…
- FLUX is fast and it's open source Bài tóm tắt · Replicate · 2024
…hay không. Mã mở ở repo cog-flux . Bài học cho SWE - Tối ưu inference có thể đổi đầu ra, nên cần cờ tắt và bộ so chất lượng công khai thì số tốc độ mới đáng tin. Liên quan - · · -…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Navigating Fair Housing Guardrails in LLMs Bài tóm tắt · Zillow · 2024
Zillow thử trợ lý hội thoại bằng LLM cho người tìm nhà. Rủi ro riêng của bất động sản: luật Fair Housing cấm "steering" (dẫn khách tới hoặc tránh khu vực theo đặc điểm được bảo vệ). Ví dụ một LLM trả lời vui vẻ cho câu…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
Anthropic phục vụ Claude qua API của mình, Amazon Bedrock và Google Vertex AI, trên ba loại phần cứng (AWS Trainium, GPU NVIDIA, TPU Google). Mỗi nền tảng cần tối ưu riêng nhưng phải cho kết quả tương đương, nên mọi…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…vụ: dùng bộ service nội bộ sẵn có cho model TensorFlow. Vì inference engine nội bộ chỉ nhận graph TensorFlow, đội viết lại tokenizer SentencePiece thành một layer trong graph , to…
- Introducing OxCaml Bài tóm tắt · Jane Street · 2025
…kiểm soát đó phải an toàn, tiện, đoán trước được : giữ type inference của OCaml, đưa chi tiết hiệu năng quan trọng lên tầng type, và chỉ phải trả giá phức tạp ở chỗ thật sự dùng ("…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…trị lịch sử để train, và tra cứu điểm giá trị hiện tại lúc inference. Thay đổi chính - Feature Service (dựng Q4 2017) phục vụ cả bốn tổ hợp đó. Số liệu lúc viết (2021): vài nghìn…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- The Journey of User-Generated Content Translation Bài tóm tắt · Mercari · 2025
Dịch tiêu đề và mô tả listing (tiếng Nhật) sang tiếng Anh và Trung phồn thể, từ 10/2023 (cho đối tác mua hộ, rồi Đài Loan 8/2024, rồi Global App). A/B test: dịch làm số giao dịch tăng vài điểm phần trăm dù trình duyệt…