Tìm kiếm
16 kết quả cho “latency P90”. Tìm không phân biệt dấu.
- FLUX is fast and it's open source Bài tóm tắt · Replicate · 2024
Số đo (từ bờ tây Mỹ, client Python): FLUX.1 schnell 512x512, 4 bước: 0,29 giây (P90 0,49); 1024x1024: 0,72 giây; FLUX.1 dev 1024x1024, 28 bước: 3,03 giây (P90 3,90).
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
…benchmark trên nhiều kiến trúc CPU, system test có yêu cầu latency nghiêm ngặt. Phần đáng kể không container hoá được, phải chạy trên bare metal của họ. - Không autoscale được: th…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- How we migrated the database behind every Vercel build Bài tóm tắt · Vercel · 2026
…n sang DynamoDB (scale theo yêu cầu, TTL native), chấp nhận latency cao hơn Redis. Pool không bao giờ dừng nên phải chuyển trực tiếp, từng pha sau flag, có đường lùi. Thay đổi chín…
- GPU-accelerated vector indexing in Elasticsearch with NVIDIA cuVS Bài tóm tắt · Elastic · 2026
…Dựng index ăn CPU nên khi index và search chạy cùng lúc thì latency search tăng và dao động; sau khi index xong, index phân mảnh vẫn làm search chậm, và force merge trên CPU mất hà…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…hình và hành vi khác nhau dù cùng quota; limiter Redis thêm latency và một fleet phải vận hành; đổi limit phải deploy lại; limiter rải rác khó tìm và sửa lúc có incident, nâng thư…
- How Uber Conquered Database Overload: From Static Rate-Limiting to Intelligent Load Management Bài tóm tắt · Uber · 2026
…(số thao tác đang bay; theo định luật Little = throughput × latency), không phải QPS. - Nền đầu tiên ở storage layer: - CoDel (Controlled Delay, mượn từ network): shed theo thời gi…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…sync I/O ít lợi, context switch và CPU throttling ảnh hưởng latency nặng hơn web service thường. - Tải mỗi request chênh nhau rất nhiều (có cái chỉ tra cứu, có cái chiếm hết CPU),…
- Reducing Image File Size in the Photos Infrastructure Bài tóm tắt · Etsy · 2017
…úc ghi (một lần) để tiết kiệm lúc đọc (rất nhiều lần), miễn latency ghi còn trong ngưỡng chấp nhận. - Theo Etsy, đổi tham số nén cần thử trên đủ loại ảnh và biết cách lùi, kể cả kh…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…ance chỉ là di chuyển partition. - Scatter-gather chịu tail latency của node chậm nhất: hedged request và giảm tải ở client là phần của thiết kế, không phải tối ưu sau. Liên quan -…
- Search Federation Architecture at LinkedIn Bài tóm tắt · LinkedIn · 2018
…nâng cấp spell check và query tagging. Ramp 5% member, p90 latency cải thiện 3%. Vì sao (theo LinkedIn) Lợi ích họ nêu: gom logic chung để tái sử dụng, dễ dùng hơn (không phải sửa…