Tìm kiếm
40 kết quả cho “Autoscaling”. Tìm không phân biệt dấu.
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…Độ khó: Trung bình — [bài gốc](https://www.together.ai/blog/autoscaling-endpoints-for-llm-inference) Bài của nhà cung cấp, viết như hướng dẫn dùng tính năng autoscaling cho Dedicat…
- Autoscaling in Kubernetes: Why doesn't the Horizontal Pod Autoscaler work for me? Bài tóm tắt · Expedia · 2020
…rung bình — [bài gốc](https://medium.com/expedia-group-tech/autoscaling-in-kubernetes-why-doesnt-the-horizontal-pod-autoscaler-work-for-me-5f0094694054) Bài hướng dẫn (ví dụ minh h…
- Autoscaling Monzo: How we optimise our platform to be just the right size Bài tóm tắt · Monzo · 2020
…ó: Trung bình — [bài gốc](https://monzo.com/blog/2020/10/19/autoscaling-monzo) Bối cảnh - Gần như mọi hệ thống của Monzo chạy microservice trên Kubernetes (trừ vài hạ tầng có trạng…
- Managing hundreds of servers for load testing: autoscaling, custom monitoring, DevOps culture Bài tóm tắt · Miro · 2020
…o-engineering/managing-hundreds-of-servers-for-load-testing-autoscaling-custom-monitoring-devops-culture-390fd1c7e699) Bài 2; bài 1 (kịch bản thực tế, cụm JMeter, pgreplay): . Bối…
- Scaling Production Globally — The service mesh facelift (Part-1) Bài tóm tắt · Achievers · 2022
…tự container. Sửa bằng holdApplicationUntilProxyStarts . - Autoscaling lệch: HPA tính trên tổng tài nguyên cả pod, thêm sidecar làm lệch ngưỡng; có service scale liên tục, có cái…
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
…g giây. - Vấn đề: trong SOA, mỗi team tự cấu hình CPU, RAM, autoscaling của service mình; phần lớn team không có kiến thức để chỉnh chính xác tới 50%. - Autotune: công cụ phân tích…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…song); decorator ở mức class khai báo endpoint, tài nguyên, autoscaling; Parameter thay cho đọc biến môi trường; hàm load làm warmup (tải model, artifact); self.input / self.output…
- 2026 World Cup: record traffic, reliability at scale Bài tóm tắt · Meta · 2026
…atran và Proxygen ở L4/L7, cân bằng tải toàn cầu chọn edge, AutoScaling cấp thêm máy. - Capacity theo vùng: đội edge làm việc với ISP hàng tháng trước giải; phần nâng cấp thành cap…
- Scryer: Netflix's Predictive Auto Scaling Engine Bài tóm tắt · Netflix · 2013
Netflix dùng Amazon Auto Scaling (AAS): tăng giảm số instance theo metric hiện tại (thường là load average). Theo Netflix, AAS hiệu quả cho availability và chi phí, nhưng phản ứng sau khi tải đã đổi.
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
Ngày làm việc đầu năm: Slack đi từ lúc vắng nhất năm sang một trong những ngày đông nhất chỉ qua một đêm; cache của client nguội nên lần kết nối đầu kéo nhiều dữ liệu hơn thường. Traffic còn có các đỉnh nhỏ đầu mỗi giờ…
- Atlas: Our journey from a Python monolith to a managed platform Bài tóm tắt · Dropbox · 2021
Metaserver, monolith Python từ 2007, hơn 3 triệu dòng; khoảng một nửa commit vào repo server sửa nó. Mô hình "hệ mặt trời": tính năng sản phẩm nằm trong monolith, các thành phần nền (xác thực, metadata, filesystem,…
- Building Pubsub for 50M concurrent socket connections Bài tóm tắt · Disney Hotstar · 2019
IPL 2019, Hotstar ra Social Feed dưới video trên app mobile: nội dung gắn với diễn biến trận đấu nên phải đẩy realtime, không cache được, thời điểm không đoán trước (mỗi quả bóng dài ngắn khác nhau), và không được làm…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
Digest là email cá nhân hoá hằng ngày, phải tới 8–9 giờ sáng theo giờ địa phương. Gửi hàng triệu email/ngày; là một trong những tải nặng nhất.
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
Lượng code qua pipeline của Optiver tăng mạnh vài năm gần đây, không chỉ do software engineer: researcher và trader cũng viết code (visualisation, thí nghiệm, tự động hoá phân tích) qua cùng pipeline build/test, và AI…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
Service Sync là một trong những service đầu tiên của Postman: đồng bộ mọi hoạt động trên client với server qua WebSocket theo kiểu pub/sub. Ban đầu chỉ lo giao dịch DB (ví dụ cập nhật collection), dần ôm thêm việc thông…
- The Ultimate Load Test Bài tóm tắt · Tinder · 2020
Swipe Night (video tương tác) ra mắt ở Mỹ tối Chủ nhật 6/10/2019, chỉ trong khung 18h–24h. Thường Tinder rollout dần từ thị trường nhỏ, nhưng lần này phải bí mật và mở cho tất cả cùng lúc.
- From Always-On to On-Demand: Scaling Kafka Sinks with KEDA Bài tóm tắt · trivago · 2026
trivago dùng Kafka làm lớp vận chuyển dữ liệu giữa các hệ. Nhiều dữ liệu vào Kafka từ database qua Debezium (CDC), topic dùng log compaction nên giữ giá trị mới nhất mỗi key, như một snapshot liên tục.
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
Robinhood (2025): hơn 14 triệu người dùng hoạt động mỗi tháng, hơn 10 TB dữ liệu mỗi ngày. Log gồm log ứng dụng và pipeline observability chạy bằng Vector, trước đó đi qua Kafka.
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…: Dễ — [bài gốc](https://www.zillow.com/tech/save-money-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Together AI Công ty Thành viên
Nhà cung cấp hạ tầng chạy model mở. Hai nguồn trong wiki (2026) đều là bài mô tả tính năng của chính họ cho Dedicated Model Inference: autoscaling theo metric của engine, với thí nghiệm cho thấy trên cùng tải chỉ tín…
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- Dream11 Công ty Thành viên
Fantasy sports với hơn 100 triệu user, traffic dồn theo từng trận đấu nhanh hơn autoscaling phản ứng. Dream11 dự báo concurrency theo giờ, kiểm năng lực bằng game day, rồi scale chủ động theo bậc trước, trong và sau…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- How Intelligent Load Shedding Prevents Cascading Failures in Tier-0 Systems Bài tóm tắt · Salesforce · 2026
…rate limit theo từng instance. Ổn khi hạ tầng tĩnh; khi bật autoscaling thì giới hạn của mỗi server lỗi thời mỗi lần thêm bớt instance, và mỗi server chỉ thấy tải của nó, không thấ…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
Hệ sinh thái model mở đổi nhanh nên đổi checkpoint hay đổi họ model là việc thường xuyên. Hai cách thường làm đều để con người làm cơ chế an toàn: đổi thẳng (mọi user cùng thấy, p95 tăng gấp đôi thì biết qua dashboard…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Terraform Poka-Yokes: Writing Effective, Scalable, Dynamic, and Error-Resistant Terraform Bài tóm tắt · CapitalOne · 2020
…odule cấp thấp không chủ kiến (ví dụ ecs-service : service, autoscaling target, policy scale lên/xuống theo alarm bộ nhớ), bọc trong module có chủ kiến theo ứng dụng (thêm SNS, SQS…