LinkedIn

Mạch tiến hoá

Bài khung là bài nhìn lại năm 2015 LinkedIn 2015. LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica chỉ đọc đồng bộ qua Databus; khẩu hiệu "Kill Leo" kéo dài nhiều năm, tới 150 service năm 2010 và hơn 750 năm 2015. Cache mid-tier được thêm vào rồi gỡ bớt vì invalidation; fan-out của SOA được gom bằng super block; Java RPC được thay bằng Rest.li; cuối 2011 có đợt Inversion dừng tính năng để sửa hạ tầng; từ khoảng 2013 site chạy nhiều data center với member được ghim vào DC gần.

Trục dữ liệu là log. Theo Jay Kreps, khoảng 2008 việc đưa dữ liệu vào Hadoop chiếm gần hết công sức, và nối từng cặp hệ sẽ thành O(N²) pipeline, nên Kafka ra đời làm log trung tâm LinkedIn 2013; năm 2014 ông đề xuất kiến trúc kappa LinkedIn 2014. Năm 2015 Kafka đã nhận 800 tỷ message/ngày, chia cụm theo loại, local/aggregate theo DC, kiểm độ đầy đủ bằng số đếm audit LinkedIn 2015. Kho chính chuyển từ Oracle và Voldemort sang Espresso (yêu cầu chốt năm 2011): document store trên MySQL, partition key quyết định transaction, Helix quản cụm, Databus làm change stream LinkedIn 2015. Helix được dùng lại cho Venice (2017), kho dữ liệu dẫn xuất nhận cả batch lẫn stream qua Kafka thay Voldemort Read-Only LinkedIn 2017; Couchbase (từ 2012) thành nền tảng cache 10 triệu QPS nhờ tooling LinkedIn 2017. Brooklin (production 10/2016) thay cả Kafka MirrorMaker lẫn Databus LinkedIn 2019. Ở search, Galene thay các lớp đắp trên Lucene (2013–2014) LinkedIn 2014 và ba mid-tier federation được gộp về một trong…