Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 82 bài (đã lọc). Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 8.979 bài thuộc 133 công ty có trang riêng được hiển thị cho thành viên. Cảm ơn những người duy trì các danh sách đó.
Image Processing at Zillow: Out with the Old and In with the AWS
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.
Making "never break the build" scale
"Not Rocket Science Rule" (Graydon Hoare): repo chính không bao giờ có bản fail test. Cách làm ngây thơ là build-bot nhận từng pull request, merge với tip, build và chạy toàn bộ test, đạt thì mới thành tip mới. Jane…
Behind the Pins: Building Analytics
8/2014 Pinterest ra bản 2 của công cụ analytics cho doanh nghiệp (analytics theo domain, profile, audience; phân theo quốc gia, ứng dụng; impression, click, repin).
How We Replaced Our Data Pipeline With Zero Downtime
Mỗi cuộc gọi hay tin nhắn đi qua các trạng thái in-flight (đổ chuông, đang gọi, xếp hàng), rồi thành bản ghi post-flight để lưu lâu dài và phân tích. Trước đây cả hai nằm chung một cụm MySQL.
Handling Growth with Postgres: 5 Tips From Instagram
Postgres vẫn là kho dữ liệu chuẩn (canonical) cho phần lớn dữ liệu user. Từ 90 like/giây (bài sharding năm 2011, ) lên hơn 10.000 like/giây lúc cao điểm (đầu 2013) mà công nghệ lưu trữ lõi không đổi.
Open sourcing Databus: LinkedIn's low latency change data capture system
LinkedIn có nhiều hệ lưu trữ chuyên biệt: DB OLTP nhận ghi; search index, cache, read replica phục vụ đọc. Các hệ dẫn xuất này phải theo kịp DB chính một cách đáng tin cậy và giữ thứ tự transaction.
Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years
3/2010: 2 nhà sáng lập, 1 kỹ sư, Rackspace, 1 web engine nhỏ, 1 MySQL nhỏ.
1 million is so 2011
1/2012. Vài tháng trước đó WhatsApp đã công bố 1 triệu kết nối TCP trên một máy; bài này là bản cập nhật.
Announcing Snowflake
6/2010. Dữ liệu online chủ yếu trên MySQL: từ một instance nhỏ thành một instance lớn rồi thành nhiều cluster lớn. Twitter đang thay dần bằng Cassandra hoặc MySQL shard ngang (qua Gizzard).
YouTube Architecture
Thành lập 2/2005; 3/2006 30 triệu lượt xem/ngày, 7/2006 100 triệu, với một nhóm rất nhỏ (2 sysadmin, 2 kiến trúc sư scale, 2 dev tính năng, 2 kỹ sư mạng, 1 DBA). Stack: Apache, Python, Linux (SuSE), MySQL, psyco,…