Couchbase Ecosystem at LinkedIn

LinkedIn · 2017 · 3. Quy mô lớn · Độ khó: Dễ — bài gốc

Bối cảnh

LinkedIn dùng Couchbase từ 2012. Năm 2017: hơn 10 triệu query/giây, hơn 200 cụm (production, staging, corp), cụm từ 3 tới 72 node. Dùng làm cache backend cho recruiter và jobs, counter cho cơ chế chống tấn công, và cả làm nguồn sự thật cho một số ứng dụng nội bộ.

Để số cụm tăng mà vận hành không tăng theo, team Couchbase-SRE dựng một hệ sinh thái quanh nó:
- Cài đặt: SaltStack + range làm kho cấu hình cụm (dữ liệu này cũng nuôi monitoring và công cụ fleet). Dự định chuyển sang hệ deploy nội bộ LID.
- Thư viện client bọc client Java mã nguồn mở, thêm số liệu QPS, latency, lỗi phía client; client Python sẽ được bọc tương tự để có metric và tự tìm server.
- Monitoring: daemon amf-cbstats lấy số liệu server mỗi phút đẩy vào hệ metric; công cụ sinh dashboard và alert mặc định trên inGraphs khi tạo cụm, ngưỡng chỉnh qua dữ liệu range.
- Macy's: góc nhìn toàn fleet, báo cấu hình hoặc monitoring lệch chuẩn và mức sử dụng từng cụm.

Theo bài, thành công của Couchbase như một nền tảng cache ở LinkedIn đến từ tooling bao quanh (client, monitoring, deploy, quản lý) hơn là bản thân phần mềm.

Khi một hệ mã nguồn mở thành hạ tầng dùng chung, việc chính là chuẩn hoá: client bọc sẵn metric, cụm mới có sẵn dashboard và alert, một nơi thấy toàn fleet.