Load shedding, rate limit và backpressure

Bài toán

Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm máy, mà thường không kịp) hoặc giảm cầu Discord 2026. Trang này gom các cách giảm cầu một cách có chủ đích:

• Rate limit / quota: giới hạn từng caller trước khi tải vào hệ.
• Load shedding: khi đã quá tải, chủ động bỏ phần việc ít giá trị nhất để giữ phần quan trọng.
• Graceful degradation: trả kết quả kém hơn (cache cũ, không cá nhân hoá, SD thay HD) thay vì lỗi.
• Bulkhead: chia tài nguyên (pool, thread, cụm) để một workload không ăn hết phần của workload khác.
• Backpressure: bên gây tải tự chậm lại khi phía dưới kêu đau.

Khác với Hot partition và thundering herd (vì sao tải lệch và dồn), trang này nói về cơ chế điều tiết tải.