Tìm kiếm
22 kết quả cho “Data lineage”. Tìm không phân biệt dấu.
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-part-2-the-foundational-tools-behind-certification) Phần 2 của series Data Mesh. Phần 1: (tổ chức, chỉ số); ph…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-at-grab-part-three) Phần 3 của series Data Mesh; hai phần trước (Signals Marketplace, công cụ chứng nhận) chưa…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa có số liệ…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…: Dễ — [bài gốc](https://www.twosigma.com/articles/treating-data-as-code-at-two-sigma/) Bài tổng quan, ít chi tiết kỹ thuật cụ thể (không có số liệu, không có kiến trúc). Mọi nhận…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…//engineering.atspotify.com/2026/4/background-coding-agents-dataset-migrations-honk-part-4) Series về coding agent nội bộ "Honk" (chạy Claude Code). Wiki chỉ giữ phần migration dữ…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…bình — [bài gốc](https://engineering.linkedin.com/blog/2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…bình — [bài gốc](https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "th…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…khó: Trung bình — [bài gốc](https://www.uber.com/us/en/blog/database-federation/) Bối cảnh - Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ung bình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Dat…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse-part-2) Phần 2, viết một năm sau . Bài của nhà cung cấp về chính sản phẩm của họ; các nhậ…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ech/how-to-pitch-apache-kafka/) Bài quan điểm của một kỹ sư Data Platform về cách thuyết phục lãnh đạo đầu tư Kafka; phần về Zillow là quyết định lập team Streaming Platform. Các s…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…bắt đầu hỏng; chuyển sang quản lý state riêng: chỉ giữ metadata cần thiết, xoá bản ghi ngay sau khi join, dedupe đầu vào. Thông lượng đến từ nhiều cải tiến nhỏ (dùng lại object, p…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…hàm: loại step định nghĩa bằng schema input/output (step ra dataset nối với step cần dataset, step ra model nối với step cần model), và orchestrator kiểm schema giữa các step , nên…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…ọn Feast sau khi xét Feast, Hopsworks, Featureform, Feathr, Databricks, Tecton: tách định nghĩa feature khỏi hạ tầng (engineer ML chỉ viết biến đổi PySpark), và có adapter DynamoDB…