Tìm kiếm
40 kết quả cho “Data lake”. Tìm không phân biệt dấu.
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…: Trung bình — [bài gốc](https://ducklake.select/2026/04/02/data-inlining-in-ducklake/) Bài của nhà cung cấp quảng bá tính năng của chính họ; benchmark so với Iceberg do họ tự dựng…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…om/us/en/blog/apache-hudi-at-uber/) Bối cảnh - Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng của Uber thì khác: dữ liệu thay đổi (vòng đời…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…](https://www.alibabacloud.com/blog/in-the-ai-era-real-time-data-lake-ingestion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của team Messag…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…grab.com/our-journey-to-apache-iceberg-adoption) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nề…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…. Mọi nhận định là theo DuckDB Labs. Đọc cùng (cây file metadata của Iceberg) và . Bối cảnh - Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một database…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…https://www.zillow.com/tech/pipeline-to-process-clickstream-data/) Bối cảnh - Clickstream là một trong những dataset lớn nhất: gần một tỷ event/ngày , dataset lớn nhất khoảng 2 TB/…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…[bài gốc](https://www.notion.com/blog/enabling-multi-region-data-systems-at-notion) Bối cảnh - Notion ra mắt data residency cho khách EU : dữ liệu khách được xử lý và lưu trong reg…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/scaled-data-replication/) Bối cảnh - Data lake của Uber (hơn 350 PB) nằm ở cả on-premises lẫn cloud. HiveSync (dựng từ dự án Re…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…ó: Cơ bản — [bài gốc](https://www.zillow.com/news/streaming-data-architecture/) Bài ngắn, mô tả hướng đi lúc bắt đầu chuyển; không có số liệu. Bối cảnh - Team data science & engine…
- Announcing Snowflake Bài tóm tắt · Twitter · 2010
6/2010. Dữ liệu online chủ yếu trên MySQL: từ một instance nhỏ thành một instance lớn rồi thành nhiều cluster lớn. Twitter đang thay dần bằng Cassandra hoặc MySQL shard ngang (qua Gizzard).
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-part-2-the-foundational-tools-behind-certification) Phần 2 của series Data Mesh. Phần 1: (tổ chức, chỉ số); ph…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-at-grab-part-three) Phần 3 của series Data Mesh; hai phần trước (Signals Marketplace, công cụ chứng nhận) chưa…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…bình — [bài gốc](https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "th…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…khó: Trung bình — [bài gốc](https://www.uber.com/us/en/blog/database-federation/) Bối cảnh - Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain…
- Data Mesh at Grab Part I: Building trust through certification Bài tóm tắt · Grab · 2025
…ngineering.grab.com/signals-market-place) Phần 1 của series Data Mesh (Signals Marketplace). Phần 2: (công cụ); phần 3: (sự cố dữ liệu tự động). Bài thiên về tổ chức và cách đo, ít…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…oximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào warehouse (Snowflake): tin cậy,…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ung bình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Dat…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…khó: Trung bình — [bài gốc](https://www.zillow.com/news/the-data-infra-behind-zillows-3x-growth-in-experiment-volume/) Bối cảnh - Giữa 2020, gần 200 triệu người dùng unique mỗi thá…
- Snowflake Công ty Thành viên
Nguồn đầu tiên của Snowflake trong wiki là bài về đường ghi của Adaptive Warehouses (2026): micro-partition bất biến làm sửa nhỏ thành viết lại lớn, nên họ ghi delta + bitmap, dùng lại thống kê cột, rồi chồng I/O với…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse-part-2) Phần 2, viết một năm sau . Bài của nhà cung cấp về chính sản phẩm của họ; các nhậ…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…Nâng cao — [bài gốc](https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scale/) Bối cảnh - Stack DB của Figma tăng gần 100 lần từ 2020 . Cuối 2022 đã có cache,…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…16): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplification…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…https://www.onehouse.ai/blog/diving-into-ubers-cutting-edge-data-infrastructure) Nguồn thứ cấp: Onehouse (công ty do người tạo ra Hudi ở Uber lập) tóm tắt talk của Girish Baliga, D…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…lớp, tăng chi phí lưu trữ, phí truy xuất, phí thao tác metadata loại B ( objects.get , objects.list ), egress và latency. Thay đổi chính - Secondary index của Hudi không giúp đủ:…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…chép dữ liệu , chỉ trỏ vào các layer đã có; là thao tác metadata, nên thời gian không tăng theo kích thước (theo Neon, 100 TB nhanh như 10 GB, tính bằng giây). - Hệ quả: restore đủ…
- How we scaled reads on the Twitter Users Database Bài tóm tắt · Twitter · 2023
…nfrastructure/2023/how-we-scaled-reads-on-the-twitter-users-database) Bối cảnh - URS (User Reservation System) , theo Twitter là một trong những hệ thống loại này lớn nhất thế giới…
- Deno KV internals: building a database for the modern web Bài tóm tắt · Deno · 2023
…ne sequencer → evaluator → writer: - Sequencer (một cho mỗi database) cấp TSN (số thứ tự giao dịch) tăng đơn điệu từ bộ đếm trong RAM; thứ tự TSN chính là thứ tự tuyến tính hoá. -…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…m-ssh-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm E…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS, dựng cụm ETL/analytics/ML trỏ vào cùng dữ liệu trên S3, tức tách compute khỏi storage. Thay đổ…
- DuckDB v2.0: Your Database Deserves a Better Parser Bài tóm tắt · DuckDB Labs · 2026
Từ commit đầu tiên năm 2018, DuckDB dùng parser và grammar lấy từ PostgreSQL: trưởng thành, đã qua thử lửa, cú pháp quen thuộc. Họ thêm một Transformer đổi parse tree kiểu Postgres sang AST nội bộ.
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…. Đọc cùng , nơi chính DuckDB Labs lập luận cho cách để metadata trong database. Bối cảnh - Bảng Iceberg nhìn như bảng thường khi query, nhưng bên dưới là một cây file trên object…
- Moving the public Stack Overflow sites to the cloud: Part 1 Bài tóm tắt · Stack Overflow · 2025
…art-1/) Tiếp nối việc chuyển Teams lên Azure (, ). Kết thúc data center: . Bối cảnh - Site public (Stack Overflow và mạng Stack Exchange) chạy trên máy chủ vật lý từ đầu: một máy →…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…bù bằng retry và theo dõi ack), readiness probe nạp sẵn metadata và ghi thử để tránh cold start. Proxy chạy trên Kubernetes với HPA theo CPU. - Tinh chỉnh cho event không giao dịch…
- Sharding & IDs at Instagram Bài tóm tắt · Instagram · 2011
Khoảng 25 ảnh và 90 like mỗi giây (2011). Họ shard để dữ liệu quan trọng luôn vừa trong bộ nhớ.
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…ào trang, gửi Google Analytics, rồi được kéo từ BigTable về data lake (bảng Hive). Zillow chưa có schema chung cho event. - Dev đổi tên event (đổi chữ hoa, đổi cách gọi), xoá tính…