Tìm kiếm
40 kết quả cho “Load balancing”. Tìm không phân biệt dấu.
- Rethinking Netflix's Edge Load Balancing Bài tóm tắt · Netflix · 2018
…ng cao — [bài gốc](https://netflixtechblog.com/netflix-edge-load-balancing-695308b5548c) Bối cảnh - Cloud Gateway (Zuul) nhận hơn 1 triệu request/giây (2018). Zuul dùng Ribbon roun…
- Enhancing Bandaid load balancing with real-time backend server load information Bài tóm tắt · Dropbox · 2019
…gốc](https://dropbox.tech/infrastructure/enhancing-bandaid-load-balancing-at-dropbox-by-leveraging-real-time-backend-server-load-information) Phần tiếp của . Bối cảnh - Request củ…
- Designing Resilient Systems Beyond Retries (Part 2): Bulkheading, Load Balancing, and Fallbacks Bài tóm tắt · Grab · 2019
…point lỗi không chiếm hết phần của các endpoint còn khoẻ. - Load balancing , bốn kiểu: - proxy (như ELB): tiện, nhưng thêm một hop; - client-side: nhanh hơn, nhưng code phức tạp và…
- IPVS-Based In-Cluster Load Balancing Deep Dive Bài tóm tắt · Kubernetes · 2018
…https://kubernetes.io/blog/2018/07/09/ipvs-based-in-cluster-load-balancing-deep-dive/) Bài của dự án mã nguồn mở, giới thiệu một tính năng lên GA ở Kubernetes 1.11. Phần lớn bài là…
- Load Testing Kubernetes: Resolving bottlenecks and improving performance (Part 2) Bài tóm tắt · Achievers · 2023
…ộ khó: Trung bình — [bài gốc](https://achievers.engineering/load-testing-kubernetes-resolving-bottlenecks-and-improving-performance-part-2-c4f08102f105) Phần 2; phần 1 (dựng framew…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…quả theo Notion: chi phí compute Spark giảm 60–90% tuỳ workload mà không mất độ tin cậy; Spot Balancer được mở mã nguồn cùng AWS. Vì sao - Tối ưu ở cấp cluster (bin packing) và tí…
- Lessons in resilience at SoundCloud Bài tóm tắt · SoundCloud · 2016
…ợc. - Theo dõi sức khoẻ theo từng instance cộng client-side load balancing : request chỉ đi tới instance khoẻ, instance xấu được bỏ qua tạm thời để hồi phục. Vài node hỏng không cò…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…token. Ban đầu khoảng 0,8% request. Ngày 29/8, một thay đổi load balancing thường lệ vô tình tăng lượng request ngắn đi vào pool đó; giờ tệ nhất (31/8) là 16% request Sonnet 4. Địn…
- So You Think You Can Scale? Bài tóm tắt · Railway · 2023
…Railway thì người dùng phải tự nhân bản service và tự viết load balancing. - Mô hình dữ liệu nội bộ chỉ có một deployment cho mỗi service . Thay đổi chính - Một "nút xoay" chọn số…
- Building a New Rust Driver for ScyllaDB's DynamoDB API – with 58% More Throughput Bài tóm tắt · ScyllaDB · 2026
…n key luôn đi tới cùng một coordinator. Khuyến nghị cho workload nặng LWT (lightweight transaction cần đồng thuận giữa replica), vì cùng coordinator thì ít phối hợp và ít tranh chấ…
- Rest.li: RESTful Service Architecture at Scale Bài tóm tắt · LinkedIn · 2013
…ng thích) là điều kiện để có hàng trăm service; discovery + load balancing phía client bỏ được load balancer phần cứng ở giữa. Liên quan - · · (degrader của D2) · - ·…
- 6 Lessons we learned when debugging a scaling problem on GitLab.com Bài tóm tắt · GitLab · 2019
Khách hàng báo lỗi git pull qua SSH chập chờn, chủ yếu từ CI và job tự động: sshexchangeidentification: connection closed by remote host. Không tái hiện được, không thấy gì rõ trên graph hay log.
- Troubleshooting: A journey into the unknown Bài tóm tắt · Booking.com · 2017
…ourney-into-the-unknown-e31b524fa86) Bối cảnh - Distributed Load Balancing (DLB) của Booking: các server nối thẳng Internet, dual-home, peer BGP với switch hai phía, chia traffic b…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Meet Bandaid, the Dropbox service proxy Bài tóm tắt · Dropbox · 2018
…hỗ trợ TLS termination, HTTP/2, gRPC, service discovery, reload cấu hình không restart, health check. - Lý do tự xây theo Dropbox: tích hợp hạ tầng nội bộ, dùng lại thư viện, tự đ…
- From Event-Driven Chaos to a Blazingly Fast Serving API Bài tóm tắt · Zalando · 2025
…ne nhiều tầng gộp event Product, Price, Stock; - hơn 90% payload là dữ liệu product không đổi, đi kèm mỗi lần giá hay tồn kho đổi; - dịp Cyber Week, event giá và tồn kho trễ tới 30…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…ớc. Segfault trong production - Lúc khởi động: Passenger preload rồi fork worker; rdkafka có một thread C mà vùng nhớ của nó không được thiết kế để fork. Sửa tạm bằng hook sau fork…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…ăm 2015. Service stateless nên scale bằng thêm instance sau load balancer phần cứng; mỗi service được redline để biết giới hạn tải. - Cache: thêm memcache/Couchbase ở mid-tier và V…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…iản cho phép team nghiên cứu scale mà không đổi code. - Workload khác hẳn công ty thông thường: - một job ML lớn chiếm trọn các node (GPU nói chuyện trực tiếp qua NVLink), nên ít t…
- Chat Service Architecture: Servers Bài tóm tắt · Riot Games · 2015
…yến nhanh; đổi lại mọi cập nhật phải nhân bản tới mọi node. Load test cho thấy lên tới ít nhất 30 server chưa suy giảm. - Tự lành sau netsplit: mỗi node nghe sự kiện thay đổi topol…
- Kubernetes Công ty Thành viên
Hai nguồn đầu của dự án Kubernetes trong wiki kể quyết định kiến trúc nằm bên trong nền tảng mà nhiều công ty khác dựng lên trên. Năm 2018, kube-proxy dùng iptables (danh sách luật vốn cho firewall) là nút cổ chai thật…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
Inngest (nền tảng durable execution) chuyển queue từ Valkey (bản fork của Redis, chạy trong RAM, thao tác queue đơn luồng) sang FoundationDB (KV có transaction, dữ liệu trên đĩa).
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies Bài tóm tắt · Instagram · 2011
…tu 11.04 trên Amazon EC2. Chưa tự host vì chỉ có 3 kỹ sư. - Load balancing: trước dùng 2 máy nginx + DNS round-robin (đổi máy chậm vì chờ DNS cập nhật); sau chuyển sang ELB với 3 n…
- Kubernetes 1.31: Streaming Transitions from SPDY to WebSockets Bài tóm tắt · Kubernetes (CNCF) · 2024
…ng 8 năm và chưa từng được chuẩn hoá. Nhiều proxy, gateway, load balancer hiện đại không hỗ trợ, nên các lệnh trên hỏng khi đi qua proxy hay gateway . Thay đổi chính - Từ v1.31, ku…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- An AKS Performance Journey: Part 2 — Networking It Out Bài tóm tắt · ASOS · 2021
Sau phần 1, PLP trên AKS vẫn chậm hơn Cloud Services khoảng 100 ms ở percentile cao. Log có nhiều timeout gọi API, kèm lỗi getaddrinfo EAIAGAIN từ NodeJS và các lần chờ đúng 5 giây.
- Introducing Grab-Kit: Distributed Service Design at Grab Bài tóm tắt · Grab · 2018
…thuộc phía trên. - Có sẵn: xác thực/phân quyền, throttling, load balancing phía client. Vì sao Theo Grab: để kỹ sư tập trung vào business logic thay vì viết boilerplate, khởi tạo t…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
Hiểu lầm phổ biến: r.Get()/r.List() trong reconciler gọi thẳng API server và luôn thấy trạng thái mới nhất. Thực tế ngược lại.
- New Tweets per second record, and how! Bài tóm tắt · Twitter · 2013
…le (thư viện client/server chung có pool kết nối, failover, load balancing). - Tách service theo "danh từ lõi": Tweet, timeline, user. - Storage: T-Bird = Gizzard đứng trước nhiều…