Tìm kiếm
32 kết quả cho “p95 latency”. Tìm không phân biệt dấu.
- Measuring the impact of Twitter network latency with CausalImpact Bài tóm tắt · Twitter · 2022
…hay đổi đáng kể thì dừng. Dùng thời gian làm mới nội dung ở p95 và p50 (request phổ biến, dữ liệu sẵn, giống metric mà traffic map dùng để định tuyến); chú ý nhóm chậm nhất vì họ đ…
- Optimizing Elasticsearch for Low Latency, Real-Time Recommendations Bài tóm tắt · Zillow · 2022
…, dropout Elasticsearch −54,7% , latency −11,5% p50, −22,2% p95, −25,6% p99 , giảm phí truyền dữ liệu AWS. - Cache: không dùng request cache của ES (đã có Redis cho cả response); q…
- How we optimized Magic Pocket for cold storage Bài tóm tắt · Dropbox · 2019
…cao hơn rõ (luôn có ít nhất một round-trip liên vùng), p25–p95 hơn warm đúng khoảng một round-trip nhờ kết nối TCP ấm, cửa sổ lớn qua Courier/HTTP/2 (). p99 của cold lại thấp hơn…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- From Static Rate Limiting to Adaptive Traffic Management in Airbnb's Key-Value Store Bài tóm tắt · Airbnb · 2026
…ode. - Load shedding theo mức quan trọng: - tỷ lệ latency = p95 dài hạn / p95 ngắn hạn. Bình thường gần 1,0; tụt về khoảng 0,3 tức là latency đang tăng vọt. Khi đó tăng giá RU cho…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…dài prefill lâu); SLO ( ttft , e2e latency , trễ sau : khi p95 vượt thì user đã thấy); hiệu suất ( gpu utilization , token utilization , tối ưu chi phí, ít khoảng đệm). Metric the…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…t/giây, chỉ thêm khoảng 5–10 ms trên latency của Dynovault, p95 khoảng 25–35 ms . - Nạp theo ba đường: - Batch cho biến đổi lớn trên kiến trúc medallion, kèm phát hiện thay đổi để…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…on người làm cơ chế an toàn: đổi thẳng (mọi user cùng thấy, p95 tăng gấp đôi thì biết qua dashboard hoặc khách, rollback về model cũ phải cold start) hoặc tự viết script đẩy dần ph…
- An AKS Performance Journey: Part 1 — Sizing Everything Up Bài tóm tắt · ASOS · 2021
…gấp đôi replica; 2 vCPU mỗi pod nhanh hơn khoảng 10% ở p75/p95 vì 2 vCPU hyper-thread ứng với một core thật, đúng với "một tiến trình NodeJS mỗi core". Pod to hơn cũng giảm số pod…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…nh); index lớn nhất 1,7 tỉ listing, top k=200 trong 12 ms ở p95 ; mang lại doanh thu hàng triệu USD mỗi năm. Vì sao - Theo eBay, bốn đại lượng latency, throughput, thời gian dựng v…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
…gói của Protobuf: danh sách mua sắm grocery p50 83 → 38 ms, p95 114 → 64 ms, p99 205 → 176 ms (đuôi do query lớn); chiều càng lớn (1.572 so với 512, 256) lợi càng nhiều. Tài liệu d…
- Increasing Magic Pocket write throughput by removing our SSD cache disks Bài tóm tắt · Dropbox · 2022
…đánh đổi - Load test ở đỉnh: throughput ghi gấp 2–2,5 lần , p95 ghi tốt hơn 15–20%. - Production (chạy dưới đỉnh): throughput ghi toàn fleet +15–20% mà không thêm máy. - Đánh đổi c…
- From vendors to vanguard: Airbnb's hard-won lessons in observability ownership Bài tóm tắt · Airbnb · 2026
…ữ: dashboard lâu năm có nhiều query sai (lấy trung bình của p95, cộng tổng latency). Bộ dịch nhận ra ý định (ví dụ có p95) thì bỏ các aggregation chồng lên và trả về query histogra…
- Migrating 300+ namespaces from self-hosted Temporal to Temporal Cloud Bài tóm tắt · Coinbase · 2026
…hau: tail latency phụ thuộc hàng xóm (batch của team này là p95 của team kia), vận hành cụm thành một sản phẩm riêng có on-call riêng và nâng cấp chậm vì persistence tự viết phải t…
- How Discord Stores Billions of Messages Bài tóm tắt · Discord · 2017
…, đã được kiểm chứng, latency đoán trước được (cảnh báo khi p95 API 80ms, không muốn cache tin nhắn trong Redis), không phải blob store, mã nguồn mở. Cassandra là lựa chọn duy nhất…
- Lessons learned from running GraphQL at scale Bài tóm tắt · Dream11 · 2021
…chỉnh TTL. - Kết quả (IPL 2021 so với 2020, theo Dream11): p95 latency giảm 50%, thời gian execute GraphQL giảm 70%; phục vụ 5 triệu người đồng thời với ít hơn 80% instance ; chi…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…. Tháng 10/2024 họ nâng cấp liên tục; kết quả cuối tháng là P95 latency thực thi khoảng 50 ms với hàng chục nghìn step đồng thời mỗi user. Các sự cố Ngày Chuyện gì Gốc Xử lý --- --…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…del theo định dạng riêng; load test của Zillow cho thấy p90/p95 của chúng kém vì đặc điểm riêng của ML serving. Thay đổi chính - Lớp người dùng: "service là một online flow". Cùng…
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
…clone repo, khởi động tiến trình. TTFT p50 giảm khoảng 60%, p95 giảm hơn 90% (theo Anthropic). - "Nhiều bộ não" là chạy nhiều harness stateless; "nhiều đôi tay" là mỗi sandbox, MCP…
- Why we replaced Node.js with Bun for 5x throughput Bài tóm tắt · Trigger.dev · 2026
…nh một binary ( bun build --compile ): thêm 14% throughput, p95 −24%, image 120 → 68 MB. --bytecode lại chậm hơn với server chạy lâu (chỉ có lợi cho cold start). - Tổng: khoảng 5 l…