Tìm kiếm
40 kết quả cho “Thundering herd”. Tìm không phân biệt dấu.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Scaling Our Geo-Search Service For 10x Load Bài tóm tắt · Gojek · 2022
…istics lớn lên thì ngày nào cũng có cảnh báo vi phạm SLA. - Thundering herd: hệ gọi ADS retry mỗi 15 giây, lúc cao điểm kéo sập toàn bộ hệ khoảng một giờ. Đánh đổi - Vị trí cũ vài…
- Canva incident report: API Gateway outage Bài tóm tắt · Canva · 2024
…ùng lúc, object panel trên mọi máy cùng gọi API. Kết quả là thundering herd khoảng 1,5 triệu req/s , gấp 3 lần đỉnh thường. 4. Một bug có sẵn: thư viện telemetry đăng ký lại metric…
- Session revocations at scale Bài tóm tắt · Canva · 2026
…m nhanh các bản thử). Bài học cho SWE - Deploy là một nguồn thundering herd: mọi instance cùng nạp cache lúc khởi động (). - Cache cục bộ cần đường nạp và đường cập nhật riêng khỏi…
- A deep dive into Cloudflare's September 12, 2025 dashboard and API outage Bài tóm tắt · Cloudflare · 2025
…t sập thứ hai đã tự rollback. Việc này được nâng ưu tiên. - Thundering herd khi khởi động lại: restart Tenant Service khiến mọi dashboard cùng xác thực lại một lúc, bị bug khuếch đ…
- 6 Lessons we learned when debugging a scaling problem on GitLab.com Bài tóm tắt · GitLab · 2019
…hút ngẫu nhiên trong giờ cho job định kỳ. Bài học cho SWE - Thundering herd không chỉ đến từ cache hết hạn; lịch tròn của con người cũng tạo đỉnh đồng bộ ở phía nhà cung cấp (). -…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
…ng 32.768, giảm 8 lần, bắt đầu rải 10% host cuối tháng 3. - Thundering herd khi mạng trở lại: trong 1.435 giây mất mạng, mỗi relay khoảng 1.500 consumer group × khoảng 18 chu kỳ re…
- Protecting our platform from spikes in usage by reducing load from the Monzo app Bài tóm tắt · Monzo · 2023
Monzo gọi là stampeding herd: rất nhiều người mở app cùng lúc, ví dụ 16h ngày trước ngày lương với tính năng Get Paid Early, hoặc khi gửi push "Year in Monzo".
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…ance hỏng), nên hàng đợi đầy lại ngay; - restart cả cụm thì thundering herd khi khởi động lạnh (tạo lại hàng triệu cuộc gọi); - rate limit tạo syncer ở các service gọi tới thì lỗi…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…khi node vào cụm) đều thành bão vào control plane. Tương tự thundering herd ở tầng ứng dụng (). - Nền tảng nội bộ phải được thiết kế theo workload thật (batch, gang, GPU), không th…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
…process với logic hay deploy thì mỗi lần deploy là một đợt thundering herd tự gây ra; tách lớp giữ kết nối (ít đổi) khỏi lớp logic (đổi thường xuyên) bỏ được nguyên nhân (, ). - T…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
2016, giám sát: hệ giám sát DB thành nút cổ chai khi số DB tăng: độ chi tiết chỉ 1 phút, sau tối ưu mới được 10 giây. Bộ phận bảo mật lại đòi thu toàn bộ câu SQL để phân tích realtime. Họ dựng lại cả hệ giám sát (giám…
- A Decade of Evolution of Alibaba's Databases - Part 1 Bài tóm tắt · Alibaba · 2019
Double 11 tạo ra một đỉnh tải cực lớn đúng 00:00, và chính đỉnh đó định hướng công nghệ database của Alibaba suốt một thập kỷ.
- Canva Công ty Thành viên
Báo cáo sự cố công khai đầu tiên của Canva (2024): một deploy editor thường lệ, mạng CDN mất gói và cơ chế gộp request của Cloudflare dồn 270.000 request rồi thả cùng lúc, cộng một bug lock trong telemetry, làm API…
- Worker Backpressure (Part 1): How we taught our queue workers to slow down Bài tóm tắt · Canva · 2026
Canva chạy hàng nghìn queue; worker được viết "tham lam": có message và còn sức là lấy xử lý ngay. Lúc dependency khoẻ thì đó là điều mong muốn.
- 500 Tbps of capacity: 16 years of scaling our global network Bài tóm tắt · Cloudflare · 2026
2010: khởi đầu từ một văn phòng ở Palo Alto, một nhà cung cấp transit (nLayer, nay là GTT), một reverse proxy cài bằng cách đổi hai nameserver.
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
Security Insights quét định kỳ mọi account, zone, bản ghi DNS để tìm cấu hình sai. Hai vấn đề: quét 1–2 tuần một lần, và nhiều account free phải tự bật mới được quét.
- How Discord Scaled Elixir to 5,000,000 Concurrent Users Bài tóm tắt · Discord · 2017
Discord dùng Elixir/Erlang VM (BEAM) từ prototype đầu tiên. Sau 2 năm: gần 5 triệu user đồng thời, hàng triệu event/giây (2017).
- Lessons learned from running GraphQL at scale Bài tóm tắt · Dream11 · 2021
Dream11 từ 300.000 người dùng (2015) lên hơn 110 triệu (2021), chuyển sang microservice. Khi số service tăng, frontend khó tự gom dữ liệu từ nhiều service, nên năm 2017 dựng một tầng GraphQL (Express.js) đứng trước toàn…
- Using the Gini Coefficient to Plan Edge Capacity Bài tóm tắt · Fastly · 2026
Một POP của Fastly là máy bare-metal chạy lẫn nhiều loại tải (video live, API, security, tải phần mềm, Compute wasm), phần cứng nhiều đời. Không có một con số "capacity": cùng một POP có thể dư thừa hôm nay và nghẹt hôm…
- An alternative approach to rate limiting Bài tóm tắt · Figma · 2017
Figma bị tấn công spam lần đầu: kẻ xấu dùng tính năng mời vào tài liệu để gửi email hàng loạt. Nếu không phát hiện kịp thì chi phí gửi email tăng vọt và uy tín người gửi email (sender reputation) bị ảnh hưởng.
- Inside Stream's Real-Time Architecture for Trading & Investing Apps Bài tóm tắt · Stream (GetStream) · 2026
…vùng (mỗi SFU khoảng một nghìn người xem), simulcast, chống thundering herd lúc join. - Benchmark tự chạy (theo Stream, 2026): 4,5 triệu user đồng thời trên 500 triệu activity, 200…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
Tải tăng vọt vì agent (theo GitHub): tổng sự kiện Git từ 218,2 tỉ lên 473,3 tỉ mỗi tháng (9/2025 → 8/2026); push tăng 4,9 lần trong một năm (0,69 → 3,35 tỉ/tháng); 7,38 tỉ commit trong tháng 9/2026, gấp hơn năm lần năm…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
Trước Chubby, phần lớn hệ ở Google bầu primary bằng cơ chế tự chế hoặc cần người can thiệp sau mỗi lần hỏng. Chubby được thiết kế làm dịch vụ khoá thô (coarse-grained), ví dụ để bầu primary, không phải khoá ngắn hạn…
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
Queue của Inngest quyết định job nào chạy tiếp, cho account nào, trên executor nào; mọi lần chạy function đều đi qua nó, và nó phải giữ công bằng giữa các tenant. Hiện chạy nhiều shard queue tách theo bậc giá (free,…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
Inngest (nền tảng durable execution) chuyển queue từ Valkey (bản fork của Redis, chạy trong RAM, thao tác queue đơn luồng) sang FoundationDB (KV có transaction, dữ liệu trên đĩa).