Tìm kiếm
13 kết quả cho “Hive Metastore”. Tìm không phân biệt dấu.
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain nằm trong một database Hive do một team trung tâm sở hữu. Từng giúp onboard và tìm dữ liệu…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…am, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow nộp job qua Livy bằng operator tự viết. - Mọi…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL và phân tích; một phần nhỏ kết quả và dữ liệu tổng hợp chuyển sang Teradata cho truy vấn tương tác và báo c…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive Parquet quản lý bằng Hive Metastore (HMS) với bố cục theo thư mục. - Bốn nút cổ chai khi dữ liệu lớn lên: - HMS thà…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…hoá, ETL tạo ra nó). Đối tượng được mô tả: bảng trong kho (Hive, Presto, MySQL, S3), dashboard, event/schema, stream (Kafka, Kinesis), job xử lý, và cả con người (team, dữ liệu ha…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…do Kafka giao lại), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá v…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…uyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để trên RDS cho mọi cụm dùng chung. Mỗi dataset một SubDAG; tối đa 4 da…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và đ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…