Tìm kiếm
40 kết quả cho “data catalog”. Tìm không phân biệt dấu.
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…bình — [bài gốc](https://engineering.linkedin.com/blog/2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…bình — [bài gốc](https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "th…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…: Trung bình — [bài gốc](https://ducklake.select/2026/04/02/data-inlining-in-ducklake/) Bài của nhà cung cấp quảng bá tính năng của chính họ; benchmark so với Iceberg do họ tự dựng…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-part-2-the-foundational-tools-behind-certification) Phần 2 của series Data Mesh. Phần 1: (tổ chức, chỉ số); ph…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…grab.com/our-journey-to-apache-iceberg-adoption) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nề…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ung bình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Dat…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…://technology.doximity.com/articles/a-smarter-way-to-deploy-data-pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-at-grab-part-three) Phần 3 của series Data Mesh; hai phần trước (Signals Marketplace, công cụ chứng nhận) chưa…
- Database-per-User Architecture With Isolated Application Environments Bài tóm tắt · Neon · 2024
…lớn · Độ khó: Trung bình — [bài gốc](https://neon.com/blog/database-per-user-architecture-with-isolated-application-environments) Bài hướng dẫn khái niệm của nhà cung cấp (Neon),…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…khó: Trung bình — [bài gốc](https://www.zillow.com/news/the-data-infra-behind-zillows-3x-growth-in-experiment-volume/) Bối cảnh - Giữa 2020, gần 200 triệu người dùng unique mỗi thá…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…. Mọi nhận định là theo DuckDB Labs. Đọc cùng (cây file metadata của Iceberg) và . Bối cảnh - Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một database…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…chuỗi cung ứng); on-prem + tràn sang cloud lúc đỉnh (vướng data gravity : chuyển hay nhân bản hàng trăm PB chậm và đắt; bản sao trễ hoặc hỏng cho kết quả khác; môi trường lệch nha…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…. Đọc cùng , nơi chính DuckDB Labs lập luận cho cách để metadata trong database. Bối cảnh - Bảng Iceberg nhìn như bảng thường khi query, nhưng bên dưới là một cây file trên object…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Internationalization in web monorepo Bài tóm tắt · Mercari · 2025
Mercari có "golden path" cho web app mới (Terraform, Kubernetes, CI/CD, gói npm cấu hình sẵn) nên số web app tăng nhanh, mỗi app một repo. Hai chỗ đau: chia sẻ code chung (theme, URL, cấu hình thí nghiệm, logging) phải…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…levance. - Quảng cáo: dữ liệu bid lưu dạng dòng lặp lại metadata cho mỗi bid, tốn serialize; chuyển sang dạng cột khớp mẫu truy cập khi chấm điểm, đưa dữ liệu quảng cáo (campaign,…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…stgres); mọi nhận định là theo PlanetScale. Bối cảnh CDC từ database là chuyện thường. Theo PlanetScale, thiết kế replication của Postgres làm CDC ràng buộc với HA theo cách khó vậ…
- Our not-so-magic journey scaling low latency, multi-region services on AWS Bài tóm tắt · Atlassian · 2019
…Tenant Context Service (TCS) . TCS về sau thành dịch vụ metadata tenant cho toàn bộ Atlassian Cloud. - Yêu cầu: được gọi nhiều lần trong mỗi request; latency cực thấp; có mặt ở mọi…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…Bài không có số liệu lưu lượng. Bối cảnh - Memgraph (graph database) chạy ở nhiều môi trường, từ máy dev tới production lớn. Cách làm đơn giản lúc đầu không còn đủ khi lượng, độ đ…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…g thiết yếu, hạ ngưỡng ngắt query dài, scale coordinator và data node) không đỡ chút nào . - Thí nghiệm: tách hai thị trường ra hai cụm bằng node allocation. Cùng lúc cắt tải: giảm…