Tìm kiếm
26 kết quả cho “Catalog database”. Tìm không phân biệt dấu.
- Database-per-User Architecture With Isolated Application Environments Bài tóm tắt · Neon · 2024
…cố định trong mỗi bản; nguồn sự thật về bật tính năng nằm ở catalog database trung tâm, nhưng được đẩy xuống DB của ứng dụng để không phải gọi về trung tâm ở mỗi request. - Control…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…DB Labs, metadata của lakehouse nên nằm trong một database (catalog) chứ không rải thành file trên object storage như Iceberg và Delta. Catalog là bất kỳ hệ nào nói SQL, có primary…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…tài nguyên. Thay đổi chính - DuckLake dùng một database làm catalog (SQLite, Postgres...). Thay đổi nhỏ hơn ngưỡng (mặc định 10 dòng, chỉnh được theo global/schema/bảng) được ghi t…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…lưu trữ và tính toán đã scale nhưng tìm dữ liệu thì chưa. - Catalog giờ phải chứa nhiều loại tài sản (bảng, stream, feature, metric, dashboard, model) và phục vụ nhiều use case (se…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…y số liệu lạ, cần biết trong cây đó có gì. Nội dung chính - Catalog giữ đúng một trạng thái thay đổi được: con trỏ tới file metadata.json hiện tại của mỗi bảng. Mọi file khác bất b…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…ủa project lên S3 , ghi metadata vào hai file YAML: project catalog (lịch sử mọi phiên bản: tên, version, đường dẫn S3, ngày tạo; chỉ append) và Airflow manifest (project nào đang…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…mất khả năng ghi . - Gốc rễ: tiến độ của consumer nằm trong catalog cục bộ của primary, không đi theo WAL (failover slot của bản 17 có ghi vào WAL nhưng vẫn chờ subscriber). Slot c…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…h-walmarts-product-knowledge-graph-6ef7357963bc) Bối cảnh - Catalog thương mại điện tử lấy dữ liệu từ seller và nhà cung cấp; dữ liệu hay thiếu, đôi khi sai, và không có một nguồn…
- Fear-free PostgreSQL migrations for Rails Bài tóm tắt · GoCardless · 2020
…ation (thêm cột; thêm constraint với NOT VALID chỉ cập nhật catalog; validate constraint trong transaction riêng). - Vì là compiler, nó phân tích tĩnh cả migration trước khi chạy b…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Slack's Incident on 2-22-22 Bài tóm tắt · Slack · 2022
…ủa cache: theo dõi Consul, khi một node memcached biến khỏi catalog thì đưa node dự phòng vào thay; node cũ quay lại thì bị flush trước khi dùng. Mcrib thay cơ chế khoá Consul cũ v…
- Our not-so-magic journey scaling low latency, multi-region services on AWS Bài tóm tắt · Atlassian · 2019
…i chính (4 bài học "không có phép màu") 1. CQRS + DynamoDB: Catalogue Service giữ nguồn sự thật (nhất quán mạnh, yêu cầu availability và latency thấp hơn TCS một bậc) → Kinesis → b…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
Memgraph (graph database) chạy ở nhiều môi trường, từ máy dev tới production lớn. Cách làm đơn giản lúc đầu không còn đủ khi lượng, độ đa dạng và tầm quan trọng của telemetry tăng; họ cần nạp nhanh, giữ lâu, phân tích…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…