Tìm kiếm
40 kết quả cho “Hive”. Tìm không phân biệt dấu.
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain nằm trong một database Hive do một team trung tâm sở hữu. Từng giúp onboard và tìm dữ liệu…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…am, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow nộp job qua Livy bằng operator tự viết. - Mọi…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL và phân tích; một phần nhỏ kết quả và dữ liệu tổng hợp chuyển sang Teradata cho truy vấn tương tác và báo c…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…lake của Uber (hơn 350 PB) nằm ở cả on-premises lẫn cloud. HiveSync (dựng từ dự án ReAir của Airbnb) giữ các lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive Parquet quản lý bằng Hive Metastore (HMS) với bố cục theo thư mục. - Bốn nút cổ chai khi dữ liệu lớn lên: - HMS thà…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và đ…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…hoá, ETL tạo ra nó). Đối tượng được mô tả: bảng trong kho (Hive, Presto, MySQL, S3), dashboard, event/schema, stream (Kafka, Kinesis), job xử lý, và cả con người (team, dữ liệu ha…
- From 3TB to 100GB: A Cost-Saving Journey in Database Maintenance Bài tóm tắt · Allegro · 2023
…12 vCore khoảng $2.876/tháng , trên Storage Account tầng archive khoảng $31/tháng . - Họ đã có giải pháp đẩy dữ liệu mới sang warehouse bất đồng bộ; phần dữ liệu cũ từ trước đó vẫn…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…do Kafka giao lại), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá v…
- Search Architecture Bài tóm tắt · Instagram · 2015
…đạt bằng base build : mỗi đêm snapshot mọi DB Postgres vào Hive; định kỳ dựng lại document cho từng vertical từ Hive rồi gộp với dữ liệu từ Slipstream . - Truy vấn: query được viế…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…) cần feature tính theo hai cách: batch trên data warehouse Hive (ví dụ lịch sử huỷ chuyến một năm của user) và stream từ Kafka (ví dụ giá ước tính cho chuyến hiện tại). Cả hai loạ…
- Lessons from Building Observability Tools at Netflix Bài tóm tắt · Netflix · 2018
…cũ (người dùng chủ yếu xem tuần gần nhất) giữ lâu hơn trong Hive . Một tập dữ liệu ban đầu để ở Elasticsearch cho dễ index nhiều trường, nhưng khi tốc độ ghi tăng, thời gian index…
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
…thẳng ra 64-bit, không cần từ điển) nhưng hợp đồng UDAF của Hive/Spark bắt trạng thái gộp trả về là một byte[] , bị JVM chặn ở khoảng 2 GB ( Integer.MAX VALUE ). Mốc đó vỡ ở khoảng…
- Simplifying Data and Product Integrations with a Data Abstraction Layer Bài tóm tắt · Uber · 2026
…inh và chạy query theo từng loại DB (OLAP nội bộ, Docstore, Hive...), trộn được nhiều loại trong một request. - Ghép kết quả: nối các dataset liền nhau theo thời gian, join dataset…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…g 300 tỉ dòng mất khoảng 7 giờ với khoảng 4.000 executor. - HiveSync cho nhiều data center và cloud: dataset chính + bản sao ở vùng khác; commit timeline nguyên tử của Hudi cho phé…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…uyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để trên RDS cho mọi cụm dùng chung. Mỗi dataset một SubDAG; tối đa 4 da…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ía riêng. - Dữ liệu vào được kiểm schema và tự lưu vào bảng Hive để analyst query (Mode, Tableau) mà không phải làm gì thêm. - Data Catalog tìm được: ai sinh dữ liệu, schema, linea…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…Tăng tốc khi pipeline mất tới 19 giờ (2014), job viết bằng Hive và Cascading: 1. job càng đơn giản càng tốt, lưu kết quả trung gian để tái dùng và chạy tiếp từ checkpoint khi lỗi;…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…nào: trích và liên kết là thư viện, đóng thành REST API và Hive UDF để chạy hàng trăm triệu sản phẩm trên Hadoop on-prem; hai pipeline định kỳ rồi nạp hàng loạt vào Cosmos DB trên…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- How we used delayed replication for disaster recovery with PostgreSQL Bài tóm tắt · GitLab · 2019
…rễ 8 giờ ( recovery min apply delay = '8h' ), đọc WAL từ archive (archive recovery) thay vì streaming, vì đơn giản hơn và tránh các bẫy của streaming kèm độ trễ (replication slot,…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ức như một database phân tán, các hệ truy vấn (Redis, Solr, Hive) là index, còn log là trục dữ liệu, nhất quán và phục hồi. Vì sao - Theo Kreps, giá trị lớn nhất của Hadoop đến từ…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…ạy MapReduce mỗi ngày; Sqoop đẩy cả Oracle và Cassandra vào Hive để join khi điều tra. - Migrate từng nước: tắt các API không phải GET của nước đó (thành viên không thấy gì, chỉ tr…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…hía server, client crash vẫn hỏi lại được. - Spark có Livy, Hive có HiveServer2. Khó nhất là MapReduce và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script P…