Tìm kiếm
8 kết quả cho “Samza SQL”. Tìm không phân biệt dấu.
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…tính từng phần (kiểu JsonObject để linh hoạt), timestamp. - Samza đọc event từ Kafka, viết bằng Samza SQL để giới hạn ở lọc, join stream-table (thuộc tính lấy từ Venice), projectio…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…thử lại. - Đường ghi: cache updater và bootstrapper là job Samza đọc stream CDC và stream bootstrap của Brooklin . Nhất quán cuối cùng. - Hợp đồng cache theo request: header "stal…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…sau 2–3 giờ, có file cuối, không mất dữ liệu). - Kiến trúc: Samza tổng hợp sự kiện theo cửa sổ → dashboard time series; Superset (MySQL) cho metric theo dataset và REST API trả ngữ…