Tìm kiếm
34 kết quả cho “S3 data lake”. Tìm không phân biệt dấu.
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…nh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ o…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…uyệt ngày càng nhiều metadata để biết đọc file nào; hoá đơn S3/GCS tăng. Ví dụ của bài: 100 lần chèn một dòng vào Iceberg qua pyiceberg sinh 100 file Parquet và hơn 300 file metada…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…và query được, object storage giữ lịch sử rẻ. Theo Alibaba, S3 Tables (AWS, 2024) làm hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ề máy, C .NET chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi tron…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…ong metadata thay vì quét Parquet (nhanh hơn 8–258 lần trên S3); cache một truy vấn metadata để bớt round-trip, "quan trọng với catalog Postgres ở xa". - Áp dụng: extension nằm tro…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…h - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách khỏi storage, nhiều cụm (chạy dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…on); - thư viện enum region và helper sinh ID DB, đường dẫn S3 theo region, thay cho hardcode; - tài nguyên không chứa dữ liệu khách (config, định nghĩa job) để tập trung. - Phân t…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…ản vay... - Amazon Kinesis Firehose (managed) đổ stream vào S3 , làm "Zillow Data Lake" giữ toàn bộ lịch sử cho Spark và cho các thương hiệu khác trong tập đoàn (Trulia, StreetEasy…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…gặp và phục hồi được (compute bị ngắt, timeout kết nối DB, S3 throttle, upstream chỉ trễ) được xử lý tự động (retry, chờ upstream, resolver riêng), rồi kiểm cả sức khoẻ pipeline l…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…u thành JSON Schema bằng ts-json-schema-generator , đưa lên S3 (có lịch sử phiên bản theo cấu trúc file); job hằng ngày khác ghi schema vào DataHub qua SDK. - Mô tả bảng dẫn xuất b…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…aming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Science viết kéo thẳng từ bảng DB: người viết không hiểu ngữ nghĩa…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ẳng để phân tích A/B test; xuất dữ liệu sang Salesforce qua S3 vì Salesforce không gọi được từ IP tĩnh. - Hướng tới: hầu hết job vẫn chạy mỗi giờ nên service phải chạy 24/7. Định d…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…hối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS, dựng cụm ETL/analytics/ML trỏ vào cùng dữ liệu trên S3, tức tách compute khỏi storage. Thay…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…arehouse hai bước : Flink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đường cho lak…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…e lớn, volume EBS lớn thì mất lâu. 2. Khôi phục snapshot từ S3 về volume. Theo Neon, RDS báo available trước khi nạp xong; block chưa có thì volume lấy từ S3 khi được chạm tới, lat…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…ng Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selenium + ChromeDriver thao tác trang như người dùng, kiểm UI, rồi đọc…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…hất là MapReduce và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script Python). Đã cân nhắc tự viết service chạy lệnh từ xa, dùng Ansible/Salt, hoặc tự tạo lo…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…ẵn năng lực) → kiểm tra nhẹ rồi ghi nguyên request JSON lên S3 . S3 là nguồn sự thật; lifecycle rule tự xoá request thô chưa gom sau một thời gian. - Gom chứ không biến đổi: job AW…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…ết. - Nền tảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte. - Ứng dụng dữ liệu realt…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…, Rackspace, 1 web engine nhỏ, 1 MySQL nhỏ. - 1/2011: EC2 + S3 + CloudFront, 4 web engine (để dự phòng), 1 MySQL + 1 read slave, 1 MongoDB cho counter, 2 kỹ sư. - Tới 9/2011, "thời…