Tìm kiếm
40 kết quả cho “catalog”. Tìm không phân biệt dấu.
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata theo…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…DB Labs, metadata của lakehouse nên nằm trong một database (catalog) chứ không rải thành file trên object storage như Iceberg và Delta. Catalog là bất kỳ hệ nào nói SQL, có primary…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…không có ACID (không UPSERT / DELETE ) nên phải làm vòng. - Catalog và storage lệch nhau : HMS là nguồn sự thật, sửa thẳng trên S3 làm catalog cũ. Thay đổi chính - Chọn Apache Iceb…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…tài nguyên. Thay đổi chính - DuckLake dùng một database làm catalog (SQLite, Postgres...). Thay đổi nhỏ hơn ngưỡng (mặc định 10 dòng, chỉnh được theo global/schema/bảng) được ghi t…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…y số liệu lạ, cần biết trong cây đó có gì. Nội dung chính - Catalog giữ đúng một trạng thái thay đổi được: con trỏ tới file metadata.json hiện tại của mỗi bảng. Mọi file khác bất b…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…à dẫn xuất, dựng lại được. Liên quan - (ba thế hệ kiến trúc catalog) · · · (catalog thế hệ một theo LinkedIn) - ·…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…lưu trữ và tính toán đã scale nhưng tìm dữ liệu thì chưa. - Catalog giờ phải chứa nhiều loại tài sản (bảng, stream, feature, metric, dashboard, model) và phục vụ nhiều use case (se…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…ủa project lên S3 , ghi metadata vào hai file YAML: project catalog (lịch sử mọi phiên bản: tên, version, đường dẫn S3, ngày tạo; chỉ append) và Airflow manifest (project nào đang…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…taset, stream, thuộc tính và metric. Thay đổi chính Hubble: catalog và lớp quản trị - Xây trên DataHub mã nguồn mở, dùng từ 2022, mở rộng nhiều nhưng liên tục rebase lên bản mới củ…
- Internationalization in web monorepo Bài tóm tắt · Mercari · 2025
…cho Global: pnpm (workspace protocol cho phụ thuộc nội bộ, catalog để ghim một phiên bản React cho cả repo) + Turborepo cho pipeline build. - Tầng module giống cách backend chia t…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…iện chung, đổi vị trí là đổi policy/config) và dữ liệu (một catalog chung trên S3, NFS, Postgres, Delta Table). - Từ DAG do scheduler giữ sang điều phối trong process: kiểu truyền…
- Designing a Better Kubernetes Experience for Developers Bài tóm tắt · Spotify · 2021
…t, trạng thái từng pod; không cần ra CLI. - Gắn vào service catalog của Backstage, nơi đã có API, tài liệu, chủ sở hữu của mỗi service. Plugin gọi thẳng Kubernetes API nên không ph…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…yst query (Mode, Tableau) mà không phải làm gì thêm. - Data Catalog tìm được: ai sinh dữ liệu, schema, lineage, tag PII và chính sách vòng đời. Luminaire kiểm chất lượng bằng mô hì…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…ể team không phải dừng roadmap. Năm câu hỏi phải trả lời: - Catalog chung: nâng Hive Metastore 2.3 lên 3.1 bằng Hive Schema Tool (có backup, có downtime xử lý job lúc nâng schema);…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…e-to.html) Bối cảnh - Team Search & Browse vận hành backend catalog và full-text search. Nhiều tầng: Base Search (cụm Elasticsearch, lexical + vector), query builder dùng NER, Cata…
- How Instacart Uses Embeddings to Improve Search Relevance Bài tóm tắt · Instacart · 2022
…của retrieval bằng vector trong hệ search. Bối cảnh - 2022: catalog hơn 1 tỉ sản phẩm từ hơn 900 nhà bán lẻ. Query lệch mạnh: dưới 1.000 query phổ biến chiếm hơn 50% traffic, còn l…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…cho cả năng suất lẫn compliance. Liên quan - (năm năm sau: catalog có mà ít dùng, chữa ở nguồn) · · -…
- Slack's Incident on 2-22-22 Bài tóm tắt · Slack · 2022
…ủa cache: theo dõi Consul, khi một node memcached biến khỏi catalog thì đưa node dự phòng vào thay; node cũ quay lại thì bị flush trước khi dùng. Mcrib thay cơ chế khoá Consul cũ v…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…h-walmarts-product-knowledge-graph-6ef7357963bc) Bối cảnh - Catalog thương mại điện tử lấy dữ liệu từ seller và nhà cung cấp; dữ liệu hay thiếu, đôi khi sai, và không có một nguồn…
- From Event-Driven Chaos to a Blazingly Fast Serving API Bài tóm tắt · Zalando · 2025
…t Hash Load Balancing theo product-id: mỗi pod giữ một phần catalogue, nên cache cục bộ nhỏ vẫn hiệu quả, và càng scale rộng thì càng cache được nhiều; - batch request dùng power o…
- Our not-so-magic journey scaling low latency, multi-region services on AWS Bài tóm tắt · Atlassian · 2019
…i chính (4 bài học "không có phép màu") 1. CQRS + DynamoDB: Catalogue Service giữ nguồn sự thật (nhất quán mạnh, yêu cầu availability và latency thấp hơn TCS một bậc) → Kinesis → b…
- GPU-accelerated vector indexing in Elasticsearch with NVIDIA cuVS Bài tóm tắt · Elastic · 2026
…), cản trở những workload phải dựng lại index thường xuyên: catalog sản phẩm làm mới mỗi đêm, đổi embedding model. - Dựng index ăn CPU nên khi index và search chạy cùng lúc thì lat…
- Fear-free PostgreSQL migrations for Rails Bài tóm tắt · GoCardless · 2020
…ation (thêm cột; thêm constraint với NOT VALID chỉ cập nhật catalog; validate constraint trong transaction riêng). - Vì là compiler, nó phân tích tĩnh cả migration trước khi chạy b…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…PLATFORM ERROR , JOB ERROR , DATA ERROR . Nền tảng vẫn giữ catalog lỗi chi tiết riêng; orchestrator chỉ tiêu thụ hợp đồng API ổn định. Lỗi upstream thì DPI hạ nguồn được nối vào D…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…một cửa hàng) để báo còn hàng, sắp hết, hết. Sau đại dịch, catalog lớn lên nhiều lần; tín hiệu từ shopper chỉ có hàng triệu mỗi ngày nên phần lớn item gần như không có quan sát. -…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
Memgraph (graph database) chạy ở nhiều môi trường, từ máy dev tới production lớn. Cách làm đơn giản lúc đầu không còn đủ khi lượng, độ đa dạng và tầm quan trọng của telemetry tăng; họ cần nạp nhanh, giữ lâu, phân tích…