Tìm kiếm
7 kết quả cho “small files”. Tìm không phân biệt dấu.
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…metadata, nên ghi nhỏ và nhiều làm phình cả cây: chính là "small files problem" mà streaming vào lake gặp (). Bài học cho SWE - Hiểu đường đi của một query trên lake: catalog → me…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…ata. - Với streaming (nhiều lần chèn nhỏ, liên tục), đó là "small files problem" : 1.000 lần chèn mỗi giây là 1.000 file nhỏ; query phải duyệt ngày càng nhiều metadata để biết đọc…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
Bộ ba Kafka + Iceberg + object storage thành tổ hợp phổ biến: Kafka nhận dòng dữ liệu, Iceberg tổ chức thành bảng có schema và query được, object storage giữ lịch sử rẻ. Theo Alibaba, S3 Tables (AWS, 2024) làm hướng này…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
Hạ tầng analytics gần gấp đôi mỗi năm. Cụm lớn nhất: 20 PB cuối 2015 → 500 PB năm 2020; 145 triệu object namespace (2015) → 1,6 tỷ trong ba namespace volume, volume lớn nhất trên 1 tỷ. Tổng 1 exabyte trên mọi cụm…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
Memgraph (graph database) chạy ở nhiều môi trường, từ máy dev tới production lớn. Cách làm đơn giản lúc đầu không còn đủ khi lượng, độ đa dạng và tầm quan trọng của telemetry tăng; họ cần nạp nhanh, giữ lâu, phân tích…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…