Tìm kiếm
40 kết quả cho “Metadata”. Tìm không phân biệt dấu.
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm search. Khi mở rộng sang nhiều loại metadata, LinkedIn…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…(https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "thế hệ" theo góc n…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở bài sau. Giá trị…
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…box.tech/infrastructure/meet-chrono-our-scalable-consistent-metadata-caching-solution) Bối cảnh - Metadata của Dropbox nằm trên Panda , KV store giao dịch MVCC tự xây; theo đà tăng…
- Image replacement in Canva designs using reverse image search Bài tóm tắt · Canva · 2025
…trong hơn 150 triệu ảnh , cập nhật theo thư viện, lọc theo metadata (tỉ lệ khung hình phải khớp), tái dùng được cho việc khác. Thay đổi chính - Xét tái dùng trước khi xây: hệ gợi…
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
…hỏng cùng lúc; chunk của một block nằm ở rack khác nhau. - Metadata trên FoundationDB: scale ngang, chịu lỗi, giao dịch ACID và strict serializability nên xoá file nhiều dòng là c…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…D 2016): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplificat…
- Business-Driven Upgrade of Alibaba Group: The Evolution of Dubbo 3.0 Bài tóm tắt · Alibaba · 2021
…mỗi interface là một bản ghi trên registry, mỗi máy đăng ký metadata riêng (serialization, timeout, data center). Một gateway phụ thuộc 30 interface của một ứng dụng upstream thì m…
- Building a Faster C# Driver for ScyllaDB…on our Self-Baked C#-Rust FFI Framework Bài tóm tắt · ScyllaDB · 2026
…Cluster quản lý session và kết nối điều khiển (cho phép đọc metadata trước khi có session), Rust thì không. Họ dựng một kiến trúc lai giữ API C cũ. Thay đổi chính - Đồng bộ build:…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…uyển lớp, tăng chi phí lưu trữ, phí truy xuất, phí thao tác metadata loại B ( objects.get , objects.list ), egress và latency. Thay đổi chính - Secondary index của Hudi không giúp…
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…êu rõ một hệ quả kiến trúc: tách compute/storage và dữ liệu/metadata thay đổi được mô hình quyền truy cập của nhà cung cấp. Bối cảnh - Hai mô hình triển khai hạ tầng dữ liệu quen t…
- From vendors to vanguard: Airbnb's hard-won lessons in observability ownership Bài tóm tắt · Airbnb · 2026
…ric từ hậu tố total như thường lệ trong Prometheus; họ dựng metadata engine trong lớp dịch, quét định kỳ mọi metric và ghi loại bằng một label nội bộ ( otel metric type ). - Không…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…rol, phân quyền, chỉ lộ tập hàm tối thiểu), proxy tra chunk metadata service để định tuyến tới shard; ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ồng bộ qua Table Services Platform để không chặn ingest). - Metadata Table (MDT): list file làm quá tải NameNode của HDFS khi có hàng chục nghìn dataset, mỗi cái hàng nghìn partiti…
- Alerting Framework at Airbnb Bài tóm tắt · Airbnb · 2017
…êm (ví dụ AWS API, hoặc Optica của Airbnb) gồm role Chef và metadata sở hữu ( owners , owner groups ). Một alert chung (ví dụ bộ nhớ) sinh thành nhiều alert, mỗi role một bản, định…
- モジュラモノリスの品質を支えるリーダビリティチーム ― AI時代のスケーラブルなコード管理 (Readability team for a modular monolith in the AI era) Bài tóm tắt · Mercari · 2025
…; client interceptor của mỗi module đưa assignment vào gRPC metadata , server interceptor ở module dưới đọc ra và đặt vào context.Context ; code nghiệp vụ đọc từ context nên thêm c…
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
…dự kiến. - CI thành nền tảng thí nghiệm: mỗi build C++ ghi metadata môi trường (phiên bản Linux, compiler, công cụ build) thành artifact; nạp vào để phân tích hiệu năng build theo…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…CS; IAM giới hạn ai được upload (production chỉ qua CD). 2. Metadata phình làm chậm mọi thứ (UI, và migration khi nâng cấp Airflow mất hàng giờ): một DAG xoá lịch sử quá 28 ngày (đ…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…, vẫn chia theo môi trường để giới hạn phạm vi ảnh hưởng. - Metadata là nền: mỗi secret có provider (hệ sinh ra và cài secret vào tài nguyên), deployment platform (hệ đưa secret tớ…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…p trung và kiểm soát, ví dụ chặn topic 10.000 partition). - Metadata bắt buộc khi tạo topic (chủ sở hữu, mô tả, dữ liệu riêng tư, lineage, schema), nối với Data Portal. - Dịch vụ c…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…h giả của Bloom filter ở cột rẻ: query dưới 2 giây. Phần 2: metadata của metric (2025–2026) - Di sản RRDtool: mỗi metric vẫn được gọi bằng một chuỗi ghép 2–6 chiều (ví dụ my-server…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…on ECS (container, tự phục hồi webserver/scheduler/worker), metadata DB Postgres trên RDS, broker RabbitMQ (chọn thay Redis/SQS vì ổn định, chống mất dữ liệu), DAG/plugin/log trên…
- Making Order in CI/CD Mess Bài tóm tắt · Wix · 2020
Khoảng 2011 (bài nói "9 năm trước"), Wix có 5 monolith backend, một project Flash và khoảng 50 developer; cả 5 monolith build trên một server TeamCity. Deploy là thủ công: tải artifact từ TeamCity, FTP lên production,…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời: