Tìm kiếm
32 kết quả cho “tối ưu inference”. Tìm không phân biệt dấu.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…ubernetes/) Bài của nhà cung cấp, mô tả prototype; một phần tối ưu CRIU chưa phát hành (chờ merge upstream). Bài sau dùng lại GPU Memory Service cho failover: . Bối cảnh - Inferenc…
- How we optimized FLUX.1 Kontext [dev] Bài tóm tắt · Replicate · 2025
…h - Replicate mở mã FLUX.1 Kontext [dev] và giải thích cách tối ưu mà không giảm chất lượng: TaylorSeer (theo bài báo arXiv 2503.06923), cài trong repo cog-flux-kontext . Thay đổi…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ght, nạp vào VRAM, warm-up. Không thể scale kịp một đỉnh đã tới, nên phải phản ứng theo tín hiệu dẫn trước . Thay đổi chính - Vòng điều khiển tỉ lệ: metric quan sát → số replica mo…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Why market data is a deep learning challenge Bài tóm tắt · Optiver · 2026
…g lệnh đặt, huỷ, sửa và khớp từ sàn; tầm dự báo từ vài giây tới vài phút. Câu hỏi: với mọi thứ quan sát được lúc này, giá sẽ đi đâu tiếp? - Quy trình cũ: tốn nhiều công feature eng…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…uất bài báo khoa học mới cho các tổng quan hệ thống. Đây là tối ưu một job batch, không phải hạ tầng lớn. Bối cảnh - Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…giây; SIGKILL một worker rồi quan sát 600 giây. - Thời gian tới khi có lại worker thứ hai: 283 giây (cold restart) so với 7,3 giây (1,7 giây phát hiện + 5,6 giây promote). TTFT p50…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…→ monitor → end để không trả tiền Lambda trong lúc job chạy tới cả giờ. Lambda không phụ thuộc model, thêm model mới gần như không tốn công. - Kết quả JSON trên S3, khoá lưu trong…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, sync thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn incident bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hệ thống low latency Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- WhatsApp Công ty Thành viên
WhatsApp là ca hiếm: blog kỹ thuật gần như chỉ kể hai giai đoạn, và hai giai đoạn ấy giải hai bài khác hẳn nhau. Giai đoạn Erlang (2011–2014) là câu chuyện tối ưu một hệ nhỏ người: năm 2012, một server FreeBSD + Erlang…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…e publish để deploy flow online, và truyền con trỏ base run tới artifact vừa train, nên model train định kỳ được deploy lại tự động . Code online và offline chung repo, chung conta…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…ệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từng chip; số kernel = {loại và thế hệ phần cứng} × {kiến trúc model} × {số operator}, ra hàng nghìn cấu hình…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…rên mỗi node, bật topology aware routing để request ưu tiên tới pod cùng node; cùng cơ chế áp cho model server pool để bù cho bước network mới thêm. - Lúc viết đang chuyển dần các…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ổi); một số feature quan trọng trễ nhiều ngày từ production tới dữ liệu train; developer mất hàng tuần để lần ra lỗi. Thay đổi chính - Feature logging: ghi lại chính các feature đư…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…ng (AWS Trainium, GPU NVIDIA, TPU Google). Mỗi nền tảng cần tối ưu riêng nhưng phải cho kết quả tương đương, nên mọi thay đổi hạ tầng phải kiểm trên mọi nền tảng và cấu hình. - Từ…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- Replicate Công ty Thành viên
Nền tảng chạy model ML bằng API, và là tác giả của Cog (công cụ đóng gói model vào container); mọi số đo và nhận định về sản phẩm trong các nguồn là "theo Replicate", họ tự đo. Blog của họ phần lớn là hướng dẫn, nên…
- FLUX is fast and it's open source Bài tóm tắt · Replicate · 2024
…1 dev 1024x1024, 28 bước: 3,03 giây (P90 3,90). - Hai việc: tối ưu model (xuất phát từ flux-fp8-api , thêm torch.compile và kernel attention cuDNN trong Torch nightly), và thêm API…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…passenger, ride), các cột còn lại là feature; có định nghĩa tới vài nghìn dòng SQL. Feature gom theo nhóm (entity type) để quản lý, nhưng version theo từng feature để lặp nhanh. Kè…
- Building Private Processing for AI tools on WhatsApp Bài tóm tắt · WhatsApp · 2025
…từ CDN bên thứ ba để dùng Oblivious HTTP; 3. kết nối OHTTP tới gateway của Meta qua relay bên thứ ba , nên Meta không thấy IP; 4. lập phiên RA-TLS (remote attestation + TLS) với T…
- How Facebook deals with PCIe faults to keep our data centers running reliably Bài tóm tắt · Meta · 2021
…esg và SEL ghi tốc độ lỗi corrected theo các cửa sổ 10 phút tới 1 ngày, FBAR (auto-remediation: rút máy lỗi khỏi production và tạo yêu cầu sửa phần cứng mà không cần người), Scuba…