Tìm kiếm
32 kết quả cho “Cold start”. Tìm không phân biệt dấu.
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…failover: . Bối cảnh - Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes mất vài phút; trong lúc đó GPU đã cấp nhưng không sinh token, và hệ không kịp hấp…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…utilization đo cường độ tính toán chứ không đo áp lực; (2) cold start vài phút : xếp lên node GPU, kéo hàng chục GB weight, nạp vào VRAM, warm-up. Không thể scale kịp một đỉnh đã…
- How AI Agents Halved the Effort of Migrating 500 Gradle Modules from Koin to Hilt Bài tóm tắt · Allegro · 2026
…ating-gradle-modules-koin-to-hilt.html) Bối cảnh - Q3 2024: cold start của app Android Allegro lên 6,0 giây (p90), ANR 0,13%, số gỡ cài đặt tăng mạnh, nặng nhất trên máy cũ và yếu.…
- How we built a secure, performant, multi-tenant cloud platform to run untrusted code Bài tóm tắt · Deno · 2024
…riệu request/ngày, 2024). - Yêu cầu: cách ly tenant tối đa, cold start thấp, tự nhân bản toàn cầu và tự co giãn mà user không cấu hình gì, deploy toàn cầu trong vài giây, giá rẻ. T…
- Moving Velo to Multiple Container Sites: The Why, The How and The Lessons Learned Bài tóm tắt · Wix · 2021
…phản hồi chặt: tạo pod khi có request thì request đầu chậm (cold start); giữ một pod cho mỗi site thì lãng phí vì phân bố đuôi dài (ít site nhiều traffic, rất nhiều site ít traffic…
- Next Best Action platform: democratizing personalization with contextual bandits Bài tóm tắt · Zillow · 2024
…train lại hằng ngày trên cửa sổ trượt vài ngày gần nhất. - Cold start: khởi tạo phân phối đều hoặc prior, không cần đợt thu thập ngẫu nhiên riêng; trên ô "Reason to Believe" của t…
- Why we replaced Node.js with Bun for 5x throughput Bài tóm tắt · Trigger.dev · 2026
…i một controller và gửi payload qua kết nối đang giữ (không cold start). Nằm trên đường găng của mọi task. Chạy Node.js và tốn quá nhiều CPU. - Benchmark cố định cho mọi bước: 500…
- Python at Scale: Strict Modules Bài tóm tắt · Instagram · 2019
…Python, tối ưu runtime) · · (tiền xử lý lúc deploy để giảm cold start) - ·…
- Scryer: Netflix's Predictive Auto Scaling Engine Bài tóm tắt · Netflix · 2013
…an - · · - Autoscale theo việc đang chờ cho LLM, cùng lý do cold start dài:…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…rt từng máy thì máy khoẻ bị quá tải, restart cả cụm thì gặp cold start. Cần giảm cầu trước rồi mới tăng cung. - Việc migration hạ tầng (Kubernetes) tạo ra các giả định mới (grace p…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…ong khi phần cứng và node vẫn khoẻ. Đường phục hồi chuẩn là cold restart: nạp weight vào HBM, compile kernel, capture CUDA graph; với model lớn mất vài phút, trong lúc đó các worke…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…hì biết qua dashboard hoặc khách, rollback về model cũ phải cold start) hoặc tự viết script đẩy dần phần trăm traffic trong khi nhìn Grafana. Thay đổi chính - Rollout giữa hai depl…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…i bounded load của Zalando, cache cục bộ của Airbnb (, ). - Cold start trước đỉnh tải biết trước có thể tránh bằng làm ấm cache, DB và ứng dụng. - Tách compute khỏi storage là điều…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ack), readiness probe nạp sẵn metadata và ghi thử để tránh cold start. Proxy chạy trên Kubernetes với HPA theo CPU. - Tinh chỉnh cho event không giao dịch: replication factor 2, m…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…ỗi job mất 2–3 phút kéo image trên tổng 6–7 phút; một tháng cold start tốn hơn 900 giờ CI. Các hướng bị loại - Thu nhỏ image: image chứa công cụ nội bộ; bỏ bớt thì đẩy độ phức tạp…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…tương tự rồi học đường tăng trưởng của chúng, tức bài toán cold start); mô hình tuỳ chỉnh cho thị trường cần người can thiệp (phụ thuộc chiến dịch, thử model nghiên cứu, duyệt kết…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…trong một service Python; và nhà hàng mới chưa có dữ liệu (cold start). Thay đổi chính - Ba phần: pipeline train offline (Python + Spark trên Redshift, hàng chục triệu mẫu), phục…