Tìm kiếm

5 kết quả cho “Hive Metastore on RDS”. Tìm không phân biệt dấu.

• Building a Pipeline to Process Clickstream Data
  Bài tóm tắt · Zillow · 2018

  …uyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để trên RDS cho mọi cụm dùng chung. Mỗi dataset một SubDAG; tối đa 4 da…

• Migration không downtime
  Chủ đề Thành viên

  Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.

• Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack
  Bài tóm tắt · Slack · 2024

  …am, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow nộp job qua Livy bằng operator tự viết. - Mọi…

• Pipeline dữ liệu và analytics
  Chủ đề Thành viên

  Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…

• Tách compute khỏi storage
  Chủ đề Thành viên

  Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên: