Tìm kiếm
24 kết quả cho “Iceberg”. Tìm không phân biệt dấu.
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…Trung bình — [bài gốc](https://duckdb.org/2026/10/13/inside-iceberg-table.html) Bài khái niệm kiểu hướng dẫn (dùng DuckDB đọc từng lớp file của một bảng Iceberg nhỏ), không phải câ…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của team Messaging của Alibaba Cloud, quảng bá tính năng ApsaraMQ for Kafka × OSS Tables (đang beta…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…bài gốc](https://engineering.grab.com/our-journey-to-apache-iceberg-adoption) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…cung cấp quảng bá tính năng của chính họ; benchmark so với Iceberg do họ tự dựng. Mọi nhận định là theo DuckDB Labs. Bối cảnh - Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng P…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…n định là theo DuckDB Labs. Đọc cùng (cây file metadata của Iceberg) và . Bối cảnh - Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một database (catalog)…
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
…nsample bằng priority sampling, đẩy vào nền tảng analytics (Iceberg + ClickHouse). - NFS phá vỡ việc quy kết: lưu lượng hiện ra là của root qua worker kernel xprtiod . Hook vfs rea…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- DuckDB v2.0: Your Database Deserves a Better Parser Bài tóm tắt · DuckDB Labs · 2026
Từ commit đầu tiên năm 2018, DuckDB dùng parser và grammar lấy từ PostgreSQL: trưởng thành, đã qua thử lửa, cú pháp quen thuộc. Họ thêm một Transformer đổi parse tree kiểu Postgres sang AST nội bộ.
- Search architecture revamp Bài tóm tắt · Grab · 2022
Trước 2021, search của Grab (Food, Mart) chỉ khớp văn bản qua inverted index, xếp hạng bằng trọng số viết cứng (khớp tên merchant luôn ưu tiên, kể cả khi người dùng rõ ràng tìm một món).
- Data Mesh at Grab Part I: Building trust through certification Bài tóm tắt · Grab · 2025
Sau khoảng mười năm tăng trưởng (ride hailing, giao đồ ăn, tài chính), Grab đã vượt xa mức một data warehouse do một nhóm trung tâm quản lý. Các team ưu tiên tính năng, việc bảo trì dữ liệu bị đẩy xuống sau.
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
Grab chuyển từ một đội Data Engineering trung tâm sang data mesh: các team tự publish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
Uber (2023): hơn 10.000 thành phố, 137 triệu người dùng/tháng, 25 triệu chuyến/ngày. Khách nội bộ của đội Data Infrastructure (vận hành cộng đồng, ML, growth marketing) đều muốn insight từ dữ liệu nhưng khác nhau về độ…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…022) cho trích xuất dữ liệu, huấn luyện model, bảo trì bảng Iceberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8. - Môi trường lớn nhất: hơn 10.000 DAG ,…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…- Không gây sự cố nào trong toàn bộ quá trình; mở đường cho Iceberg/Hudi. Vì sao - Chạy hai thế hệ song song với catalog chung và một cờ định tuyến cho phép migrate từng job, quay…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
Bảng Snowflake chia thành micro-partition lưu trong file cột nén, bất biến (theo thiết kế trong paper SIGMOD 2016): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới.
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…n fork nội bộ về upstream và lên Hudi 1.x, thử ghi kép sang Iceberg để có dữ liệu cho quyết định định dạng bảng. Vì sao - Không có hệ nào lúc đó cho bảng tươi, query được, có ACID…