Tìm kiếm
6 kết quả cho “Sqoop”. Tìm không phân biệt dấu.
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…ble Cassandra ra JSON trên S3, Pig chạy MapReduce mỗi ngày; Sqoop đẩy cả Oracle và Cassandra vào Hive để join khi điều tra. - Migrate từng nước: tắt các API không phải GET của nước…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…ing-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS, dựng cụm ETL/…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…rường test từ EBS snapshot của replica nhiều lần; chạy cùng Sqoop/ETL báo cáo trên cả hai DB theo cửa sổ thời gian; đếm dòng sau khi tạm dừng load gia tăng. - Hiệu năng: từ máy IBM…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Science viết kéo thẳng từ bảng DB: người viết không hiểu ngữ nghĩa bảng, phải đuổi theo thay đổi…