Tìm kiếm
6 kết quả cho “Flink streaming ingestion”. Tìm không phân biệt dấu.
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…g tổng hợp tăng dần thành dữ liệu thay đổi), real-time bằng Flink (500 bảng, độ tươi dưới 15 phút; tối ưu file chạy bất đồng bộ qua Table Services Platform để không chặn ingest). -…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…, 2024) làm hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều str…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…