Tìm kiếm
22 kết quả cho “Lineage”. Tìm không phân biệt dấu.
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…ác processor; topic chia sẻ được giữa pipeline; có theo dõi lineage. - Schema là công dân hạng nhất: mọi event phải theo schema Avro định trước, vì chất lượng dữ liệu, lineage ở mứ…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…mô tả, ngữ nghĩa, tag), Behavior (ai tạo, ai dùng, sở hữu, lineage), Change (schema tiến hoá, ETL tạo ra nó). Đối tượng được mô tả: bảng trong kho (Hive, Presto, MySQL, S3), dashb…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…chủ sở hữu, hợp đồng và tài liệu dạng metadata có cấu trúc, lineage tới mức cột và metric (trả lời "đổi cái này thì gãy gì"), và trạng thái chứng nhận (dấu tick xanh, xem được tiêu…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…ublish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất lượng dữ liệu) và Data Contract Registry…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…của bài là đưa schema về nguồn (code) và lan metadata theo lineage. Bối cảnh - Giai đoạn 1 (không catalog): dữ liệu tăng tự phát, phần lớn ở dạng JSON không cấu trúc, đổ vào công…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…hoảng 10 tuần công kỹ sư. Thay đổi chính - Tìm phạm vi bằng lineage: trang của mỗi endpoint trong Backstage liệt kê consumer phía sau; plugin Codesearch tìm repo đích trên GitHub E…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…người; cần hiểu dữ liệu tiến hoá thế nào theo thời gian và lineage (DAG phụ thuộc thay đổi ra sao). Bài học cho SWE - Áp dụng nguyên tắc phần mềm (version, test, CI/CD, tái lập) c…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…e bắt đầu sinh định dạng khác ( jp JA so với jp-JA online); lineage ETL mong manh (thiếu partition, upstream đổi); một số feature quan trọng trễ nhiều ngày từ production tới dữ liệ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…n 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm search. Khi mở rộng sang nhiều loại metadata, LinkedIn rút ra năm bài học: 1. Push tốt hơn pull: đội c…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…khai báo cho đánh giá, so sánh, giải thích, đăng ký model; lineage làm một lần ở lớp điều phối thì mọi pipeline có ngay mà không phải migrate. Vì sao - Theo Yelp, phần lớn workflo…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…gom logic transform về một chỗ, theo dõi phụ thuộc, tự sinh lineage; xử lý được việc các nguồn đến lúc khác nhau (7:26, 10:01) nhưng cùng một mốc giờ logic để join. - Tách DAG khổn…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…batch. - Quanh lõi có giám sát job hỏng, theo dõi độ tươi, lineage. Vì sao - Theo Dropbox, con đường giữa (nền mã nguồn mở + hạ tầng nội bộ, chỉnh từng lớp theo ràng buộc thật) hợ…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…del) và phục vụ nhiều use case (search, kiểm soát truy cập, lineage, compliance, xoá dữ liệu theo GDPR, data quality), mỗi cái mang metadata riêng nhưng cần nối với metadata của cá…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…thắt vận hành: mọi việc ở mức database (ACL, sửa DDL, TTL, lineage, xử lý sự cố) đều qua một team, một lịch on-call. - Khó áp quy tắc chất lượng theo domain, theo dõi ownership, đ…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…gì thêm. - Data Catalog tìm được: ai sinh dữ liệu, schema, lineage, tag PII và chính sách vòng đời. Luminaire kiểm chất lượng bằng mô hình chuỗi thời gian và báo cho producer. - K…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ắt buộc khi tạo topic (chủ sở hữu, mô tả, dữ liệu riêng tư, lineage, schema), nối với Data Portal. - Dịch vụ cấu hình tiêm sẵn config producer/consumer, cùng thư viện client cho tr…