Tìm kiếm
14 kết quả cho “Streaming ingestion”. Tìm không phân biệt dấu.
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Sci…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…hi nhỏ tạo một file dữ liệu mới và cập nhật metadata. - Với streaming (nhiều lần chèn nhỏ, liên tục), đó là "small files problem" : 1.000 lần chèn mỗi giây là 1.000 file nhỏ; query…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…runbook. - Hướng tiếp: IngestionNext chuyển ingest batch → streaming, ghi checkpoint ID của Flink vào commit metadata để phục hồi tất định không trùng dữ liệu, merge theo row grou…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…người quản trị nhận alert. Chuyển ingest của Data 360 sang streaming và đơn giản hoá query để đánh giá alert thường hơn; còn vài phút . Mục tiêu điều tra: dưới 120 giây từ lúc bấm…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều stream. Nhưng n…
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
…quest lớn, RPS cao, tài liệu nhị phân. Tiếp theo: thêm API, streaming, bảo mật và observability cho transport. Vì sao - Theo Uber, cách biểu diễn API không phải lựa chọn bề mặt: ở…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ãnh đạo đầu tư Kafka; phần về Zillow là quyết định lập team Streaming Platform. Các so sánh Kinesis/Kafka ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesi…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…iá trị feature đổi trong một cửa sổ 15 phút thông thường. - Streaming cho tín hiệu nhanh (hoạt động cộng tác, tương tác nội dung). - Ghi thẳng cho feature nhẹ hoặc tính sẵn, ví dụ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive…