Tìm kiếm
15 kết quả cho “Kafka ingestion”. Tìm không phân biệt dấu.
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của team Messaging của Alibaba Cloud, quảng bá tính năng ApsaraMQ for Kafka × OSS Tables (đ…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…— [bài gốc](https://www.zillow.com/tech/how-to-pitch-apache-kafka/) Bài quan điểm của một kỹ sư Data Platform về cách thuyết phục lãnh đạo đầu tư Kafka; phần về Zillow là quyết địn…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…bda, chỉ batch, hoặc chỉ stream (kappa). - Đường ghi đi qua Kafka: dữ liệu từ Hadoop hoặc Samza được đẩy vào Kafka; storage node không nhận ghi online mà tự ingest bất đồng bộ từ K…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…p99 mỗi bản ghi cho feed mobile). - Ingest bất đồng bộ qua Kafka: service Partitioner đọc stream mọi nội dung rồi ghi lại sang topic có partition khớp partition của index node; cù…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám sát lúc đó chỉ là trạng thái pass/fail củ…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…kém hiệu quả hơn để service ổn định. Hướng tới: chuyển sang Kafka + schema registry, tạo topic bằng CI/CD. - Kết quả: thời gian để một team đưa dữ liệu vào lake từ vài tuần xuống v…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…heo dõi). - Quản lý cụm bằng Helix ; ingest gần realtime từ Kafka , Hadoop cho bootstrap và đối soát. - Dữ liệu chia segment theo thời gian nên hết hạn dữ liệu chỉ là bỏ segment. -…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…à phục hồi của nó. - Theo bài, phần khó không phải nối DB → Kafka → Snowflake mà là bốn câu hỏi xung quanh. Thay đổi chính - Hai đường với điểm mạnh khác nhau: batch dựng snapshot…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…o nền tảng quản lý, đọc binlog và đẩy sự kiện CDC vào topic Kafka đứng trước nguồn; ứng dụng cũng có thể tự phát event qua thư viện chung (khi chưa có connector, hoặc muốn phát dom…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…