Tìm kiếm
40 kết quả cho “Metadata engine”. Tìm không phân biệt dấu.
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở bài sau. Giá trị…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm search. Khi mở rộng sang nhiều loại metadata, LinkedIn…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…(https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "thế hệ" theo góc n…
- GitHub's Engineering Fundamentals program Bài tóm tắt · GitHub · 2024
…ss cao hơn; tier được audit lại cho đúng. Bài học cho SWE - Metadata của service (tier, chủ) phải nằm cạnh code và được máy đọc; khi đó chuẩn có thể áp tự động theo mức quan trọng…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…x builder phân tán: dịch vụ ingest ghi yêu cầu dựng vào kho metadata job; scheduler chia việc cho các node builder, node lỗi thì chạy lại chỗ khác; dữ liệu embedding được chia shar…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ồng bộ qua Table Services Platform để không chặn ingest). - Metadata Table (MDT): list file làm quá tải NameNode của HDFS khi có hàng chục nghìn dataset, mỗi cái hàng nghìn partiti…
- Engineering Real-Time Mobile Personalization Across iOS, Android, React Native, and Flutter Bài tóm tắt · Salesforce · 2026
…argeting và content zone. Nền tảng version hoá và phát hành metadata cá nhân hoá qua CDN toàn cầu; khi app mở, SDK lấy cấu hình, áp quy tắc targeting và ánh xạ, render thành phần n…
- From vendors to vanguard: Airbnb's hard-won lessons in observability ownership Bài tóm tắt · Airbnb · 2026
…ric từ hậu tố total như thường lệ trong Prometheus; họ dựng metadata engine trong lớp dịch, quét định kỳ mọi metric và ghi loại bằng một label nội bộ ( otel metric type ). - Không…
- Image replacement in Canva designs using reverse image search Bài tóm tắt · Canva · 2025
…trong hơn 150 triệu ảnh , cập nhật theo thư viện, lọc theo metadata (tỉ lệ khung hình phải khớp), tái dùng được cho việc khác. Thay đổi chính - Xét tái dùng trước khi xây: hệ gợi…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…D 2016): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplificat…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…alancer; backend MySQL (có sharding nếu cần) lưu dữ liệu và metadata cụm. - Request được phân tích, lưu DB, chuyển cho workflow engine nội bộ chạy "plan" là chuỗi task trên từng ho…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…rol, phân quyền, chỉ lộ tập hàm tối thiểu), proxy tra chunk metadata service để định tuyến tới shard; ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform…
- モジュラモノリスの品質を支えるリーダビリティチーム ― AI時代のスケーラブルなコード管理 (Readability team for a modular monolith in the AI era) Bài tóm tắt · Mercari · 2025
…; client interceptor của mỗi module đưa assignment vào gRPC metadata , server interceptor ở module dưới đọc ra và đặt vào context.Context ; code nghiệp vụ đọc từ context nên thêm c…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…CS; IAM giới hạn ai được upload (production chỉ qua CD). 2. Metadata phình làm chậm mọi thứ (UI, và migration khi nâng cấp Airflow mất hàng giờ): một DAG xoá lịch sử quá 28 ngày (đ…
- Alerting Framework at Airbnb Bài tóm tắt · Airbnb · 2017
…êm (ví dụ AWS API, hoặc Optica của Airbnb) gồm role Chef và metadata sở hữu ( owners , owner groups ). Một alert chung (ví dụ bộ nhớ) sinh thành nhiều alert, mỗi role một bản, định…
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
…dự kiến. - CI thành nền tảng thí nghiệm: mỗi build C++ ghi metadata môi trường (phiên bản Linux, compiler, công cụ build) thành artifact; nạp vào để phân tích hiệu năng build theo…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…on ECS (container, tự phục hồi webserver/scheduler/worker), metadata DB Postgres trên RDS, broker RabbitMQ (chọn thay Redis/SQS vì ổn định, chống mất dữ liệu), DAG/plugin/log trên…
- How Uber Executed A JUnit Migration at Massive Scale Bài tóm tắt · Uber · 2026
…enRewrite parse code thành LST (cây giữ cả kiểu, định dạng, metadata), recipe biến đổi trên cây rồi ghi lại. Viết một Bazel aspect gom file nguồn và classpath biên dịch của target,…
- Making Order in CI/CD Mess Bài tóm tắt · Wix · 2020
Khoảng 2011 (bài nói "9 năm trước"), Wix có 5 monolith backend, một project Flash và khoảng 50 developer; cả 5 monolith build trên một server TeamCity. Deploy là thủ công: tải artifact từ TeamCity, FTP lên production,…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.