Tìm kiếm
22 kết quả cho “Avro”. Tìm không phân biệt dấu.
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…chỉ nghe các bảng có hậu tố events . - Mọi event là message Avro ; người viết service tự dựng message và ghi nó vào bảng …-events trong cùng giao dịch với thay đổi dữ liệu, kèm sch…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…ây file trên object storage : một file JSON ở trên, vài lớp Avro ở giữa, Parquet ở dưới. Khi query chậm hay số liệu lạ, cần biết trong cây đó có gì. Nội dung chính - Catalog giữ đú…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…→ document. Schema database/table bằng JSON, document bằng Avro . Khoá nhiều phần, phần đầu là partition key (ví dụ MailboxID , rồi MessageID ); mọi document cùng partition key là…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…C Window Tiny-LFU) → storage node (MySQL). Profile lưu dạng Avro binary; schema tiến hoá. OHC có hit rate thấp vì cục bộ từng router và vì request dùng projection. Thay đổi chính -…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…bằng Protobuf trong một repo chung; thư viện tự chuyển sang Avro cho đích cần. Payload từ service bị kiểm schema và loại ngay ở producer; JSON từ mobile/web được một job stream riê…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…g thái mà không cần backfill; tombstone xoá bản ghi đã xoá. Avro + schema registry làm hợp đồng; unique constraint trên UUID làm lưới an toàn. - Dùng UUID thay ID tự tăng khi dữ li…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…, đăng ký schema, gửi audit; consumer tự lấy schema và giải Avro. Một team Kafka (gồm committer) hỗ trợ mọi team dùng Kafka thống nhất. - Hướng tới: security, quota, mức 1.000 tỷ m…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…- Schema là công dân hạng nhất: mọi event phải theo schema Avro định trước, vì chất lượng dữ liệu, lineage ở mức trường, và khám phá dữ liệu. Nền tảng kiểm tra tương thích, và khi…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Clear Street Công ty Thành viên
Nguồn duy nhất của Clear Street (hạ tầng môi giới chứng khoán, thành lập 2018) trong wiki là bài 2020 về transactional outbox: mỗi service có API gRPC và API streaming qua Kafka; Debezium chỉ nghe các bảng hậu tố events…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ấy từ HDFS audit log (Flume trên NameNode đổi thành sự kiện Avro vào Kafka). - Data loss: so số bản ghi ở nguồn theo từng mapper (sự kiện Gobblin) với số đã ghi (HDFS audit), chỉ r…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…. - Ba bước từ message tới bảng: (1) chuyển record (giải mã Avro/Protobuf, unwrap CDC của Debezium, gắn topic/partition/offset); (2) tự tiến hoá schema với thay đổi tương thích (th…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…giả thuyết dữ liệu hỏng từ Segment bị loại (dữ liệu mã hoá Avro, không có lỗi encoder). Nâng rdkafka-ruby lên 0.11.1 (librdkafka 1.4 → 1.8) thì hết hẳn. - Testing trước production…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata. - Với streaming (nhiều lần chè…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…skinny" (key rỗng, giới hạn theo số key). - Schema registry Avro lưu ngay trong RocksDB của từng node. - Relevance: sinh code Java tối ưu từ cấu hình transform + hồi quy, nhanh hơn…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…n đọc-sau-ghi) hoặc Kafka với Metadata Change Event (schema Avro sinh tự động từ Pegasus; mọi thay đổi schema bắt buộc tương thích ngược, kiểm lúc build). LinkedIn chủ yếu dùng Kaf…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…chính - Schema từ nguồn, bằng TypeScript: thay vì Protobuf/Avro/JSON Schema như thường lệ, dùng kiểu TypeScript làm IDL , vì codebase đã định nghĩa nhiều data model bằng TypeScrip…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…lấy bản ghi theo từng stream, gắn timestamp duy nhất, kiểm Avro schema, đổi sang JSON rồi publish. Có thể sinh bản ghi trùng; khử trùng ở downstream . - Chuyển từ bảng sang stream…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…ng Terraform, có chủ sở hữu để quy chi phí và alert; schema Avro gắn với event id để validate. Data Portal gom schema registry, data catalog, data contract, cấu hình phát hiện bất…