Tìm kiếm
27 kết quả cho “Parquet”. Tìm không phân biệt dấu.
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…ối cảnh - Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhậ…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…object storage : một file JSON ở trên, vài lớp Avro ở giữa, Parquet ở dưới. Khi query chậm hay số liệu lạ, cần biết trong cây đó có gì. Nội dung chính - Catalog giữ đúng một trạng…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…WS Glue hằng đêm gom hàng trăm nghìn request nhỏ thành file Parquet theo ngày , gần như giữ nguyên JSON. Mục đích chính là bỏ vấn đề nhiều file nhỏ và nén. - ClickHouse kéo từ S3:…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…file) để loại file mà không mở file . Thống kê trong footer Parquet không đủ: đọc footer vẫn là đụng tới file, vẫn giữ file nóng. - Sắp xếp bảng theo cột predicate (ID của người):…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…àn bảng Cassandra, join nguồn khác, gộp theo nhiều cột, ghi Parquet vào Swift storage. - Bảng Hive trên Parquet, Spark SQL Thrift server để Tableau đọc. Vì sao - Một engine (Spark)…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ích. - Vào warehouse hai bước : Flink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đ…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive Parquet quản lý bằng Hive Metastore (HMS) với bố cục theo thư mục. - Bốn nút cổ chai khi dữ liệu lớn lên: - HMS thành đi…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…tắt liệt kê thư mục đệ quy, xử lý timeout socket S3; hỗ trợ Parquet (predicate pushdown, truy cập cột theo vị trí vì schema evolution làm trên Hive metastore là nguồn sự thật), ODB…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…g HDFS cục bộ, chủ yếu cho Sqoop ghi tạm trước khi đổi sang Parquet), task node không cần HDFS. - Scale out: core theo HDFS dùng ≥ 80% ; task theo YARN memory còn ≤ 15%, app pendin…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…JSON về "raw data lake" trên S3, Spark trên EMR chuyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để trên RDS cho mọi c…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…bảng: SQLite, PostgreSQL, hoặc chính DuckDB. Dữ liệu vẫn là Parquet trên object storage. - Trong năm đầu: thêm Parquet có sẵn mà không chép, tương thích Iceberg, kiểu geometry và v…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Memgraph Công ty Thành viên
Memgraph là công ty graph database. Năm 2026 họ bỏ colocation tự giữ máy cho CI và benchmark sang thuê Hetzner, chi phí giảm khoảng một nửa; CI chạy trên vCPU dùng chung, benchmark trên bare metal để giảm nhiễu . Cùng…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…ép kiểu cần storeAssignmentPolicy=Legacy ; lệch giữa schema Parquet và metastore gây StackOverflowError , tắt convertMetastoreParquet . - Kiểm chứng dữ liệu khớp chính xác , không…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- DoorDash Công ty Thành viên
Nguồn đầu tiên của DoorDash trong wiki là bài 2022 của một thực tập sinh nghiên cứu (CMU): chaos engineering ở production không hợp với DoorDash vì khách mất đơn, nên thử fault injection có hệ thống ở mức service…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…d production. Nhánh batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…SSTable) giữ danh sách file, thống kê cột (min/max mỗi file Parquet), bloom filter; list thư mục thành một lượt tra khoá. Đã bật cho hơn 90% dataset. - Record Index (RI): upsert ph…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…