Tìm kiếm
25 kết quả cho “load test to failure”. Tìm không phân biệt dấu.
- Analysis of recent downtime & what we're doing to prevent future incidents Bài tóm tắt · Asana · 2019
…lại lỗi EBS (khoảng 30 giây); failover hai lần, lần hai kèm load shedding nội bộ; phục hồi nhanh hơn nhưng vẫn chưa đủ. - Sửa ngắn hạn: chặn vòng phản hồi bằng Redis làm khoá/cache…
- How we optimized Magic Pocket for cold storage Bài tóm tắt · Dropbox · 2019
…B trên đĩa quay (SMR từ 2018, ); trong một region thì mới upload là replication n-way, sau đó erasure coding nền. - Mỗi block được lưu độc lập ở ít nhất hai region cách nhau hàng n…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Engineering Multi-Agent AI Teams That Build and Test Themselves Bài tóm tắt · Salesforce · 2026
Engineer ở Marketing Cloud dựng "đội agent" (nhiều agent phối hợp) bằng tay: viết YAML, prompt, profile, công cụ, model, ngân sách, giới hạn lượt; chạy thử, đọc output từng agent, chẩn đoán, sửa cấu hình, chạy lại; rồi…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Making the LinkedIn experimentation engine 20x faster Bài tóm tắt · LinkedIn · 2020
…hơn sinh bytecode). Sinh code lúc compile cho phân giải overload thay vì reflection (15 ns so với 45 ns mỗi call), từ một file đặc tả hợp đồng kiểu của từng toán tử. - Cây đánh giá…
- Controlled Chaos with Fault Injection Testing Bài tóm tắt · Riot Games · 2019
Riot Games API (dữ liệu League cho developer bên ngoài) có rate limiter ở edge (ESRL); vì request rơi vào server bất kỳ, tổng số call mỗi khách phải đếm ở một chỗ trung tâm là Redis.
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…one-aware trên 3 zone . - Rồi nhiều cụm: cụm chuyên cho workload đặc thù (compute, mesh) và nhiều cụm ứng dụng; rollout theo thứ tự quan trọng: test/nội bộ → cụm ứng dụng → cụm hạ…
- Lessons Learned From Scaling Uber To 2000 Engineers, 1000 Services, And 8000 Git Repositories Bài tóm tắt · Uber · 2016
…lượng log để mỗi service biết mình đang tạo ra bao nhiêu. - Load test trên production giờ thấp điểm, phải đánh dấu traffic test xuyên suốt hệ thống (lại là truyền context). Lý tưởn…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…ăm 2015. Service stateless nên scale bằng thêm instance sau load balancer phần cứng; mỗi service được redline để biết giới hạn tải. - Cache: thêm memcache/Couchbase ở mid-tier và V…
- Ideal isn't real: Stress testing CockroachDB's resilience Bài tóm tắt · Cockroach Labs · 2025
Benchmark kiểu TPC-C chỉ đo tốc độ khi mọi thứ hoàn hảo; theo Cockroach Labs, doanh nghiệp trung bình gặp 86 sự cố mỗi năm (khảo sát 2025 của chính họ).
- How Render Services Stayed Up During the AWS October Outage Bài tóm tắt · Render · 2025
…gion Virginia, nhưng không khách nào bị sập hoàn toàn : workload đang chạy vẫn chạy. Diễn biến - Khoảng 90 phút đầu Render vẫn khoẻ. Sau đó không provision được EC2 ở us-east-1, nê…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
…s giữ 30.000 socket UDP chưa bind. Tái hiện bằng shim LD PRELOAD . 3. Async (hồi quy 14 năm, từ 2012): timeout của Tcp.connect sock không còn bao phần tra DNS, nên lần kết nối kẹt…
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
Workers KV là kho KV toàn cầu: dữ liệu lưu ở storage theo vùng, cache khắp mạng Cloudflare; không chỉ khách hàng dùng mà còn là hạ tầng cho cấu hình, xác thực, phân phối asset của nhiều sản phẩm Cloudflare.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- How we systematically improved our reliability Bài tóm tắt · Neon · 2026
…thay đổi của mình (code, config, migration, vận hành), workload của khách (traffic, retry, input xấu, đỉnh cron mỗi giờ). - Risk = xác suất × tác động ; điểm càng cao thì càng phả…
- Chat Service Architecture: Persistence Bài tóm tắt · Riot Games · 2015
…ication, snapshot định kỳ; snapshot production còn dùng cho load test sát thực tế. Kết quả (2015) - 99,9% query Riak khoảng 8 ms (social graph gần như vừa RAM); tải danh sách bạn d…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…VPN, đọc runbook, tìm replica cùng shard, promote, đưa vào load balancer, dựng replica mới. Mất 20 phút trở lên và dễ sai. Thay đổi chính - Ba mục tiêu: phát hiện primary hỏng; pr…
- Report on our investigation of the 2025-10-20 incident in AWS us-east-1 Bài tóm tắt · PlanetScale · 2025
…ới ứng dụng của khách. Sau khi mạng lành, vài process (edge load balancer, vtgate) không tự hồi phục được và phải restart. Đóng sự cố lúc 20:32 UTC. Rút ra (theo PlanetScale) - Tác…