Tìm kiếm
20 kết quả cho “Hive Sync”. Tìm không phân biệt dấu.
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain nằm trong một database Hive do một team trung tâm sở hữu. Từng giúp onboard và tìm dữ liệu…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…lake của Uber (hơn 350 PB) nằm ở cả on-premises lẫn cloud. HiveSync (dựng từ dự án ReAir của Airbnb) giữ các lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và đ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…g 300 tỉ dòng mất khoảng 7 giờ với khoảng 4.000 executor. - HiveSync cho nhiều data center và cloud: dataset chính + bản sao ở vùng khác; commit timeline nguyên tử của Hudi cho phé…
- Lessons from Building Observability Tools at Netflix Bài tóm tắt · Netflix · 2018
…cũ (người dùng chủ yếu xem tuần gần nhất) giữ lâu hơn trong Hive . Một tập dữ liệu ban đầu để ở Elasticsearch cho dễ index nhiều trường, nhưng khi tốc độ ghi tăng, thời gian index…
- Netflix Billing Migration to AWS Bài tóm tắt · Netflix · 2016
…r đối chiếu dữ liệu Cassandra với Oracle theo từng nước qua Hive. - Thử trước bằng dữ liệu sạch: các nước mới mở được chạy luôn trên một hạ tầng billing "gầy" ở cloud, rồi mới mở r…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…ạy MapReduce mỗi ngày; Sqoop đẩy cả Oracle và Cassandra vào Hive để join khi điều tra. - Migrate từng nước: tắt các API không phải GET của nước đó (thành viên không thấy gì, chỉ tr…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…hía server, client crash vẫn hỏi lại được. - Spark có Livy, Hive có HiveServer2. Khó nhất là MapReduce và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script P…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…