Tìm kiếm
39 kết quả cho “GPU”. Tìm không phân biệt dấu.
- GPU-accelerated vector indexing in Elasticsearch with NVIDIA cuVS Bài tóm tắt · Elastic · 2026
…ốc](https://www.elastic.co/search-labs/blog/vector-indexing-gpu-elasticsearch-cuvs) Bài ngắn của nhà cung cấp (viết cùng NVIDIA) giới thiệu tính năng; số liệu là benchmark của chín…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…CRIU chưa phát hành (chờ merge upstream). Bài sau dùng lại GPU Memory Service cho failover: . Bối cảnh - Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ả tiền theo replica-phút nên phải cân hai kiểu sai: cấp dư (GPU ngồi ở 15% chỉ để chờ đỉnh) và cấp thiếu. Theo bài, LLM serving thoái hoá phi tuyến: replica chạm giới hạn concurren…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…công ty thông thường: - một job ML lớn chiếm trọn các node (GPU nói chuyện trực tiếp qua NVLink), nên ít tranh tài nguyên; - scheduler chịu tải theo đợt: một job tạo hàng trăm pod…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…h giá. Bối cảnh - Fleet phần cứng của Meta không đồng nhất: GPU NVIDIA, GPU AMD, chip MTIA tự làm (4 thế hệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từn…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…qua được bước khởi tạo: (1) weight gắn với process (bộ nhớ GPU thuộc CUDA context, process chết là driver giải phóng hết); (2) một số trạng thái không chuyển giao được : communica…
- Using OxCaml to implement type-safe reference counting between OCaml and Python Bài tóm tắt · Jane Street · 2026
…Hệ quả: việc giải phóng một data frame nhiều GB (hay bộ nhớ GPU) bị buộc vào lúc GC của OCaml tình cờ chạy. GC lại chỉ thấy 8 byte nên không có lý do gấp. Theo bài, viết Python trá…
- Inside SkyTour's AI engine: From drone footage to immersive 3D Bài tóm tắt · Zillow · 2026
…thành workflow Metaflow , mỗi bước trên Kubernetes với CPU/GPU cấp theo yêu cầu bước; logic 3DGS tách khỏi lớp orchestration. Chạy lặp lại trên hàng nghìn bất động sản. Vì sao - B…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…enizer và model chạy cùng nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sá…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ard chứ không do chậm đồng loạt: −40 ms. Phục vụ model trên GPU, cache model relevance. - Quảng cáo: dữ liệu bid lưu dạng dòng lặp lại metadata cho mỗi bid, tốn serialize; chuyển s…
- Building Private Processing for AI tools on WhatsApp Bài tóm tắt · WhatsApp · 2025
…đổi kiểm toán được; - CPU confidential virtualization cùng GPU ở chế độ Confidential Compute, DRAM mã hoá; - định tuyến qua OHTTP để không ai dẫn một user tới một máy cụ thể; - re…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Elastic Công ty Thành viên
Elastic (nhà cung cấp Elasticsearch) xuất hiện trong wiki qua các bài 2026 về vector search. Năm 2026, query vector có filter được engine tự chọn lọc trước hay lọc sau theo độ chọn lọc ước tính, có thử lại và lùi về lọc…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…olling (thay từng replica, giữ tổng capacity, hợp khi thiếu GPU). - Thứ tự trong mỗi bậc, mỗi bước chặn một loại sự cố: scale target lên trước khi dời traffic (không đủ capacity th…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…ngắn đòi xếp hạng toàn bộ nội dung cho từng người, nên cần GPU. - Năm 2022, LLM đẩy job training từ 128 lên 2k–4k GPU chạy đồng bộ: một lỗi dừng cả job, khác hẳn web (retry sang m…
- OpenAI Công ty Thành viên
Hạ tầng nghiên cứu của OpenAI chạy trên Kubernetes: từ 2.500 node (2018), nơi etcd, agent giám sát và ARP cache lần lượt vỡ , lên một cụm 7.500 node (2021) với API server ngoài cụm, gang scheduling và health check GPU .…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…và Google Vertex AI, trên ba loại phần cứng (AWS Trainium, GPU NVIDIA, TPU Google). Mỗi nền tảng cần tối ưu riêng nhưng phải cho kết quả tương đương, nên mọi thay đổi hạ tầng phải…
- Bumble Công ty Thành viên
Bumble là tập đoàn hẹn hò sở hữu Badoo; bài 5/2019 trên blog bumble-tech kể cách backend PHP nguyên khối của Badoo được test khi tính năng lên server trước mọi client hàng tháng: SoftMocks cho code cũ đi kèm quy tắc…
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
…hay workflow nào gây ra. - Sự cố mẫu: một lần training dùng GPU ở Chicago, dữ liệu ở New York, chép qua dịch vụ chuyển dữ liệu liên vùng DupeDog ; tốc độ chuyển tụt. Log DupeDog kh…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…cố dù có unit và integration test. Một số thứ (bộ nhớ, CPU/GPU, concurrency, latency) chỉ đo đúng bằng dữ liệu và lưu lượng production. - Record-and-replay không hợp khi model AI…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…perparameter tuning. - Phát triển: chọn cấu hình phần cứng (GPU/CPU, RAM) và base image rồi mở notebook Jupyter hoặc R-studio trên cụm Kubernetes riêng của LyftLearn, lên trong vài…
- How Facebook deals with PCIe faults to keep our data centers running reliably Bài tóm tắt · Meta · 2021
…àng triệu linh kiện PCIe (ASIC tăng tốc video và inference, GPU, NIC, SSD), nhiều nhà cung cấp, nhiều bản firmware, chạy các ứng dụng có mức chịu lỗi khác nhau. Lỗi có thể từ phần…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…ợp khi muốn một giai đoạn chạy on-prem, giai đoạn khác trên GPU cloud, và không thể bắt researcher tự cắt DAG theo ranh giới scheduler. Optiver đưa phần quyết định "node nào sẵn sà…
- Together AI Công ty Thành viên
Nhà cung cấp hạ tầng chạy model mở. Hai nguồn trong wiki (2026) đều là bài mô tả tính năng của chính họ cho Dedicated Model Inference: autoscaling theo metric của engine, với thí nghiệm cho thấy trên cùng tải chỉ tín…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
…ảnh; họ cân nhắc quay về scale lúc request đầu tiên (Lambda/GPU). Vì sao - Tách hàng đợi theo nguồn để một nguồn chậm không chặn nguồn khác, và giới hạn tốc độ theo nguồn để không…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…- Chỉ dùng SageMaker cho inference; train trên máy cục bộ (GPU của SageMaker quá đắt so với lợi ích độ chính xác). - Thử nghiệm online vs offline, loại instance, số instance, batc…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…điểm của ML serving mà Zillow liệt kê: - CPU-bound (có khi GPU) chứ không I/O-bound: mỗi replica chạy được ít worker, async I/O ít lợi, context switch và CPU throttling ảnh hưởng…