Tìm kiếm

5 kết quả cho “Gobblin”. Tìm không phân biệt dấu.

• An inside look at LinkedIn's data pipeline monitoring system
  Bài tóm tắt · LinkedIn · 2019

  …g-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám sát lúc đó chỉ là trạng th…

• Auditing content features in FollowFeed
  Bài tóm tắt · LinkedIn · 2019

  …chấm điểm. - Feature đã ingest được ETL từ Kafka sang HDFS (Gobblin). Response kèm feature được lấy từ broker dark canary (không phục vụ traffic thật) để không thêm tải lên node th…

• DataHub: Popular metadata architectures explained
  Bài tóm tắt · LinkedIn · 2020

  …p đồng rõ), cho phép dùng metadata bằng chương trình (ví dụ Gobblin tự xoá dữ liệu theo yêu cầu "quyền được quên" dựa trên tag trong catalog). Yếu điểm: không có change log nên khó…

• Observability và monitoring
  Chủ đề Thành viên

  Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:

• LinkedIn
  Công ty Thành viên

  Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…