Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 979 bài. Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 9.115 bài thuộc 135 công ty có trang wiki riêng và 897 bài thuộc 261 trang danh sách bài viết (công ty chưa có trang wiki); thành viên xem được toàn bộ danh sách. Cảm ơn những người duy trì các danh sách đó.
The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds
150 triệu user hoạt động; 300K QPS đọc timeline nhưng chỉ khoảng 6.000 request/giây ghi: Twitter chủ yếu là nơi tiêu thụ. 400 triệu tweet/ngày (trung bình 5K/giây, đỉnh 7K/giây, hơn 12K/giây khi có sự kiện lớn);…
New Tweets per second record, and how!
3/8/2013 (khán giả Nhật xem Castle in the Sky): đỉnh 143.199 tweet/giây, trong khi bình thường là 500 triệu tweet/ngày, tức ~5.700 TPS. Đỉnh gấp ~25 lần mà user không thấy gián đoạn.
MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL)
Hai nhà sáng lập từng ở Facebook (nền tảng, hạ tầng; một người từng làm lõi SQL Server). Theo họ, Facebook scale được nhờ hai thứ: Memcached (KV trong RAM) và sinh code (HipHop dịch PHP sang C++). Ghép hai ý vào…
A Closer Look at the Christmas Eve Outage
Cuối 2012, Netflix dùng hàng trăm ELB, mỗi cái cho một service hoặc một phiên bản service; mỗi nhóm thiết bị (trong hơn một nghìn loại thiết bị) phụ thuộc vào một số ELB riêng. Kiến trúc chịu được mất một phần hoặc cả…
1 million is so 2011
1/2012. Vài tháng trước đó WhatsApp đã công bố 1 triệu kết nối TCP trên một máy; bài này là bản cập nhật.
Paparazzi Charts
Biểu đồ (Zestimate, chỉ số giá ZHVI theo thời gian) là nội dung quan trọng trên Zillow.
On WordPress Scaling and Performance, The Zillow Way
Sản phẩm Premier Agent Websites (website cho môi giới) dựng trên lõi WordPress, tự host, chỉ dùng tối thiểu plugin ngoài vì lý do bảo mật; mục tiêu chạy hàng chục tới hàng trăm nghìn site trên một nền tảng chung (2012).
When The Cloud Gets Dark — How Amazon's Outage Affected Airbnb
Toàn bộ hạ tầng Airbnb năm 2011 trên AWS. Incident us-east tháng 4/2011: network ở hai AZ mất kết nối, EBS tự re-mirror nhưng không đủ capacity dự phòng, volume EBS treo hoặc I/O cực chậm.
Sharding & IDs at Instagram
Khoảng 25 ảnh và 90 like mỗi giây (2011). Họ shard để dữ liệu quan trọng luôn vừa trong bộ nhớ.
What Powers Instagram: Hundreds of Instances, Dozens of Technologies
Sau hơn 1 năm ra mắt (12/2011): 14 triệu+ user, 3 kỹ sư, hơn 100 instance EC2. Ba nguyên tắc chọn công nghệ: giữ thật đơn giản; không phát minh lại bánh xe; dùng công nghệ đã kiểm chứng khi có thể.
The LMAX Architecture
LMAX là sàn giao dịch phái sinh cho nhà đầu tư cá nhân (công ty mẹ là Betfair). Sàn cần latency thấp vì mỗi giao dịch làm thay đổi thị trường cho giao dịch sau; bán lẻ thì thêm nhiều người dùng. Phần lớn hoạt động đến…
Lessons Netflix Learned from the AWS Outage
21/4/2011: incident lớn ở AWS US-East làm sập hoặc làm chậm nhiều website lớn.
Scaling High-Availability Infrastructure in the Cloud
Five nines (99,999%) nghĩa là khoảng 5,26 phút downtime mỗi năm, 25,9 giây mỗi tháng. Ở mức đó, người không thể là một phần của vòng phát hiện và khắc phục: kể cả khi monitoring bắt được mọi lỗi và gọi đúng người, người…
Announcing Snowflake
6/2010. Dữ liệu online chủ yếu trên MySQL: từ một instance nhỏ thành một instance lớn rồi thành nhiều cluster lớn. Twitter đang thay dần bằng Cassandra hoặc MySQL shard ngang (qua Gizzard).
Project Voldemort: Scaling Simple Storage at LinkedIn
LinkedIn bắt đầu bằng một DB lớn và cluster front-end (cộng một đồ thị xã hội trong RAM trên máy riêng). DB được tách thành các service riêng cho profile, search, nhóm, network update, công ty; có read replica nhưng…
Stack Overflow Architecture (2009)
2009, Stack Overflow khoảng 16 triệu page view/tháng, Alexa hạng khoảng 1.666; cùng hạ tầng chạy thêm Server Fault và Super User.
PlentyOfFish Architecture
Site hẹn hò do một người vận hành: 1,2 tỉ page view/tháng, 500.000 lượt đăng nhập/ngày, 500–600 trang/giây, sống bằng Google Ads. Stack Windows, ASP.NET, IIS, Akamai, ServerIron.
YouTube Architecture
Thành lập 2/2005; 3/2006 30 triệu lượt xem/ngày, 7/2006 100 triệu, với một nhóm rất nhỏ (2 sysadmin, 2 kiến trúc sư scale, 2 dev tính năng, 2 kỹ sư network, 1 DBA). Stack: Apache, Python, Linux (SuSE), MySQL, psyco,…
The Chubby lock service for loosely-coupled distributed systems
Trước Chubby, phần lớn hệ ở Google bầu primary bằng cơ chế tự chế hoặc cần người can thiệp sau mỗi lần hỏng. Chubby được thiết kế làm dịch vụ lock thô (coarse-grained), ví dụ để bầu primary, không phải khoá ngắn hạn…