Tìm kiếm
11 kết quả cho “Hadoop bootstrap”. Tìm không phân biệt dấu.
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…rộng lẫn chiều sâu. Ví dụ Jobs Analytics: xử lý và nén trên Hadoop rồi đẩy lại vào Oracle, nên không gần realtime; phải cắt bớt dimension; cron hằng ngày xoá bản ghi cũ. Thay đổi c…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ort (key-value), Espresso (document), recommendation, OLAP, Hadoop, Teradata, inGraphs. - Hạ tầng log sớm nhất là Databus : lớp cache log trên các bảng Oracle cũ, để nhiều hệ (grap…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…ics. - Voldemort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ xếp hạng kết nối cấp hai cho People You May Know) rồi đẩy nguyên batch bất biến lên để web se…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ns-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…ema evolution không downtime, change stream, bulk ingest từ Hadoop. - Năm 2015: khoảng 30 ứng dụng (Member Profile, InMail, một phần homepage và mobile), hơn chục cụm, hàng triệu r…