Tìm kiếm
40 kết quả cho “no autoscaling”. Tìm không phân biệt dấu.
- Atlas: Our journey from a Python monolith to a managed platform Bài tóm tắt · Dropbox · 2021
…pbox.tech/infrastructure/atlas--our-journey-from-a-python-monolith-to-a-managed-platform) Bối cảnh - Metaserver , monolith Python từ 2007, hơn 3 triệu dòng; khoảng một nửa commit v…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…iả định của autoscaling cổ điển bị phá: (1) metric kiểu CPU nói sai về tải : GPU báo 60% mà hàng đợi của engine đã dồn, vì utilization đo cường độ tính toán chứ không đo áp lực; (2…
- Autoscaling in Kubernetes: Why doesn't the Horizontal Pod Autoscaler work for me? Bài tóm tắt · Expedia · 2020
…tài liệu (ví dụ: scale khi CPU trung bình quá 80%) rồi thấy nó "không chạy". Series đặt bốn tiêu chí cho autoscaling: reliability, efficiency, responsiveness, resilience ; bài này…
- Autoscaling Monzo: How we optimise our platform to be just the right size Bài tóm tắt · Monzo · 2020
…wner (). - Chạy hệ tự động ở chế độ chỉ-gợi-ý trước khi cho nó hành động; khi bật thì có rate limit cho hành động. - Mọi cơ chế tự động có quyền dừng pod cần một giới hạn chung (PD…
- Managing hundreds of servers for load testing: autoscaling, custom monitoring, DevOps culture Bài tóm tắt · Miro · 2020
…ction. Bài học cho SWE - "Nếu load test qua dễ dàng, có thể nó viết sai": muốn biết test đúng phải hiểu production, và IaC là cách để team tự hiểu. - Dùng load test để kiểm luôn ob…
- Building Pubsub for 50M concurrent socket connections Bài tóm tắt · Disney Hotstar · 2019
…PL 2019, Hotstar ra Social Feed dưới video trên app mobile: nội dung gắn với diễn biến trận đấu nên phải đẩy realtime, không cache được, thời điểm không đoán trước (mỗi quả bóng dà…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
…, mọi thay đổi phải phối hợp: một "microservice" đã thành monolith. - 2019: 11 triệu user, gần 1 triệu kết nối đồng thời lúc đỉnh. Vấn đề: - Mỗi lần deploy Sync là ngắt mọi client.…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…chủ yếu cho Sqoop ghi tạm trước khi đổi sang Parquet), task node không cần HDFS. - Scale out: core theo HDFS dùng ≥ 80% ; task theo YARN memory còn ≤ 15%, app pending ≥ 2, containe…
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
…hó: Trung bình — [bài gốc](https://optiver.com/insights/technology-blog/building-visibility-into-a-ci-platform/) Bối cảnh - Lượng code qua pipeline của Optiver tăng mạnh vài năm gầ…
- 2026 World Cup: record traffic, reliability at scale Bài tóm tắt · Meta · 2026
…chi tiết kỹ thuật; nhận định ghi "theo Meta". Liên hệ với , nơi bóng đá đã được nêu là nguồn đỉnh tải lớn nhất của WhatsApp năm 2014. Bối cảnh - World Cup 4 năm một lần là "bài kiể…
- The Ultimate Load Test Bài tóm tắt · Tinder · 2020
…này phải bí mật và mở cho tất cả cùng lúc. - Nhiều đợt push notification toàn quốc sẽ tạo đỉnh tức thời; autoscaler của Tinder là kiểu phản ứng, hợp với thay đổi dần, không hợp với…
- Scaling Production Globally — The service mesh facelift (Part-1) Bài tóm tắt · Achievers · 2022
…d, chỉnh connection pool đều không ăn thua; gốc là ứng dụng Node.js không chuyển SIGTERM cho process con nên không bao giờ đóng kết nối êm. Sửa bằng xử lý SIGTERM và một init proce…
- Introducing Fly Kubernetes Bài tóm tắt · Fly.io · 2023
…recracker) trên máy tự đặt ở hàng chục region. Lúc đầu dùng Nomad , kèm proxy Anycast tự viết bằng Rust và mạng riêng WireGuard/IPv6 trên eBPF. - Theo Fly.io, đặc trưng của orchest…
- How Intelligent Load Shedding Prevents Cascading Failures in Tier-0 Systems Bài tóm tắt · Salesforce · 2026
…a Salesforce: mỗi lần đăng nhập, mỗi lần kiểm token đều cần nó. Mục tiêu five nines (khoảng 5 phút downtime mỗi năm), dữ liệu trải nhiều region. - Xác thực nằm ở "cửa trước": ident…
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
…g nhất chỉ qua một đêm ; cache của client nguội nên lần kết nối đầu kéo nhiều dữ liệu hơn thường. Traffic còn có các đỉnh nhỏ đầu mỗi giờ và nửa giờ (nhắc việc, cronjob của khách k…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
…ý là một generation event, nhưng chỉ 1/4 thành email. Event no-op tuy nhanh vẫn tốn suất vì hàng đợi giới hạn theo số event/giây . Thêm cột lastActiveAt , query chỉ user hoạt động;…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…ã train lên làm web service cần nhiều logic nghiệp vụ quanh nó: tiền xử lý request, trích feature tức thời, làm giàu bằng feature đã tính sẵn, hậu xử lý, có khi gọi thêm model thứ…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…. - Agent Groups để cách ly: client nào vào nhóm nào, tránh noisy neighbor; cấu hình khác nhau theo nhóm (TLS hay không). Nhiều tài khoản AWS dùng chung một bucket S3 trung tâm, Ag…
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
…up) (). - Kiểm chứng tín hiệu điều khiển trước khi giao cho nó cả fleet. Liên quan - (cùng năm, cắt chi phí consumer theo hướng khác) - · ·…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- How We Upgrade Kubernetes on GKE Bài tóm tắt · Gojek · 2020
…rade-kubernetes-on-gke/) Bối cảnh - Kubernetes ra một bản minor mỗi quý ; team Engineering Platform của Gojek phải theo kịp trên nhiều cụm GKE. - Cụm tạo bằng Terraform + GitOps :…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…ghi cả cây process xuống storage chung (NFS/SMB). Restore ở node khác theo chiều ngược lại. Process tiếp tục đúng tại lệnh nó bị dừng, không biết mình vừa được checkpoint. - Ở mức…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Deployment of etcd on AWS EC2 Bài tóm tắt · etcd · 2017
…hân tán, config, secret. - Vì mọi ghi phải qua quorum, thêm node làm etcd chậm đi (leader phải phối hợp với nhiều thành viên hơn). Cách trực tiếp để nhanh hơn là cho mỗi thành viên…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Automated Infrastructure Cost Optimization at Scale with AWS EC2 Reserved Instances Bài tóm tắt · Quora · 2018
…hiện tại và gần đây theo instance family (AWS tính RI theo normalization factor). Định nghĩa ECD (effective convertible discount) = mức giảm thực khi gán RI cho một family, có tín…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…hanh. - Odin là bản mới, mã nguồn mở, của một deployer Ruby nội bộ; lúc viết bài vẫn đang alpha ở Coinbase. Thay đổi chính - Mục tiêu thiết kế: blue/green "dùng một lần" (tạo servi…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…c hồi được, collective lỗi tạm thời) trong khi phần cứng và node vẫn khoẻ. Đường phục hồi chuẩn là cold restart: nạp weight vào HBM, compile kernel, capture CUDA graph; với model l…