Tìm kiếm
11 kết quả cho “Apache Iceberg”. Tìm không phân biệt dấu.
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…ình — [bài gốc](https://engineering.grab.com/our-journey-to-apache-iceberg-adoption) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thờ…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
Bảng Iceberg nhìn như bảng thường khi query, nhưng bên dưới là một cây file trên object storage: một file JSON ở trên, vài lớp Avro ở giữa, Parquet ở dưới. Khi query chậm hay số liệu lạ, cần biết trong cây đó có gì.
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…n · Độ khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/apache-hudi-at-uber/) Bối cảnh - Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…engineering.myshopify.com/blogs/engineering/lessons-learned-apache-airflow-scale) Bối cảnh - Shopify chạy Airflow production hơn hai năm (2022) cho trích xuất dữ liệu, huấn luyện m…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…lần từ catalog ra một file. - So với Iceberg ( pyiceberg + Apache Polaris), phải thu nhỏ còn 100 giây vì Iceberg chạy quá lâu: chèn nhanh hơn 105 lần, aggregation 923 lần, checkpo…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…n HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và độ tươi đầu-cuối từ 24 giờ xuống một giờ, vì xử lý t…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…