Pinterest

Mạch tiến hoá

Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc Pinterest 2018. Phía dưới là tầng cache memcached + mcrouter sidecar, hơn 150 triệu req/s Pinterest 2020. Mảng quảng cáo chạy hai pipeline Kafka Streams hot-hot cho ngân sách và pacing, tự chuyển theo health (2021) Pinterest 2021. Mốc sớm nhất trong wiki là năm 2014: pipeline analytics batch hằng ngày trên Hadoop ghi vào HBase đã gộp sẵn Pinterest 2014. Trước đó, theo talk được HighScalability tóm tắt (2013), họ đi từ một MySQL (2010) qua giai đoạn năm công nghệ DB cùng hỏng tới MySQL shard thủ công với ID nhúng shard (2012) Pinterest 2013; năm 2017 họ dựng tracing phân tán Pintrace Pinterest 2017. Năm 2020, CI của monorepo Java dùng đồ thị Bazel để chỉ chạy target bị ảnh hưởng, P50 nhanh gấp 2,7 lần Pinterest 2021. Đầu 2020, bật HTTP/2 cho vài endpoint làm lộ lỗi rò bộ nhớ ở app iOS, mất vài tháng truy và gần một năm mới bật lại Pinterest 2021. Chi tiết lớp lưu trữ được kể năm 2015: 4.096 shard ảo trên MySQL, ID 64 bit tự chỉ shard, object dạng JSON để không phải ALTER, và nguyên tắc không đọc slave trong production Pinterest 2015. Cùng năm, một bài quan điểm của Marty Weiner giải thích lý do: Pinterest từng chạy cùng lúc bảy kho dữ liệu và, theo tác giả, chỉ MySQL chưa từng làm mất dữ liệu Pinterest 2015.

Timeline

Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).