Tìm kiếm
8 kết quả cho “Amundsen”. Tìm không phân biệt dấu.
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…. Tăng trưởng · Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến tr…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…tắt trước), metadata cũ. Theo LinkedIn: WhereHows bản 2016, Amundsen, Lexikon (Spotify), Artifact (Shopify), Dataportal (Airbnb). - Thế hệ 2, service có push API: nguồn đẩy metadat…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Lyft Công ty Thành viên
Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền . Nền tảng…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm search. Khi mở rộng sang nhiều loại metadata, LinkedIn rút ra năm bài học:
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
Mỗi team ở Lyft (dispatch, định giá, chống gian lận, hỗ trợ) dùng kỹ thuật mô hình riêng, nhưng đều cần cùng các việc: môi trường phát triển, train song song, theo dõi các lần chạy, xem hiệu năng, train lại theo lịch,…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
Model ML ở Lyft (ghép tài xế–khách, định giá, coupon, chống gian lận, hỗ trợ) cần feature tính theo hai cách: batch trên data warehouse Hive (ví dụ lịch sử huỷ chuyến một năm của user) và stream từ Kafka (ví dụ giá ước…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
Giai đoạn 1 (không catalog): dữ liệu tăng tự phát, phần lớn ở dạng JSON không cấu trúc, đổ vào công cụ như Amplitude để phân tích nhanh. Hệ quả: kiến thức truyền miệng, tên không thống nhất, không phân biệt event quan…