Tìm kiếm
29 kết quả cho “Data discovery”. Tìm không phân biệt dấu.
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…bình — [bài gốc](https://engineering.linkedin.com/blog/2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- Scaling Datastores at Slack with Vitess Bài tóm tắt · Slack · 2020
…khó: Nâng cao — [bài gốc](https://slack.engineering/scaling-datastores-at-slack-with-vitess/) Bối cảnh - Slack bắt đầu bằng LAMP. Mọi dữ liệu trên MySQL, gồm ba loại cluster: - Sha…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…uỳ chỉnh, cô lập workload query, hỗ trợ KQL. - Kiến trúc: 3 data center, mỗi nơi một cụm ClickHouse 22 shard, nạp từ PubSub qua tầng ingester. Red-black: ghi vào hai cụm, đọc một,…
- Building a data plane from scratch: Stripe's own high-performance distributed proxy Bài tóm tắt · Stripe · 2026
…hó: Nâng cao — [bài gốc](https://stripe.dev/blog/building-a-data-plane-from-scratch-stripes-own-high-performance-distributed-proxy) Bối cảnh - Mục tiêu độ tin cậy 99,9995% cho requ…
- Business-Driven Upgrade of Alibaba Group: The Evolution of Dubbo 3.0 Bài tóm tắt · Alibaba · 2021
…interface là một bản ghi trên registry, mỗi máy đăng ký metadata riêng (serialization, timeout, data center). Một gateway phụ thuộc 30 interface của một ứng dụng upstream thì mỗi l…
- API, ChatGPT & Sora Facing Issues (incident write-up) Bài tóm tắt · OpenAI · 2024
…API server sập, control plane của phần lớn cụm lớn ngừng. - Data plane chạy được khá độc lập với control plane, nhưng DNS thì cần control plane : service không tìm được nhau. Vì sa…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…onolith (servlet cho mọi trang, business logic, kết nối vài database). - Service đầu tiên là member graph ("Cloud"): đồ thị kết nối cần duyệt trong bộ nhớ, có profile tải khác hẳn…
- Alibaba Upgrades Dubbo3 to Fully Replace HSF2 Bài tóm tắt · Alibaba · 2023
Sau khi đưa toàn bộ lên cloud, Alibaba muốn stack microservice nội bộ chạy trên middleware mã nguồn mở thay cho framework RPC nội bộ HSF (và Dubbo2 ở Alibaba Cloud).
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…y trên các sàn ở Ấn Độ; tự host gần như mọi phụ thuộc (CRM, database lớn, Kafka, mail server). - Hạ tầng lai: rack vật lý ở hai data center (nơi đường leased line của sàn kết thúc)…
- How Deterministic Controls Turn AI Output Into Reliable Prompt Templates Bài tóm tắt · Salesforce · 2026
…ữ liệu của org, merge field và cú pháp Jinja, chọn input và data provider, và giữ kết quả hợp lệ theo schema; theo bài, admin có kinh nghiệm mất ít nhất 25 phút. - Assistive Author…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…host-host trong ZooKeeper dựng bằng script Python. Khi thêm data center, dùng ở cả mid-tier và frontend, và instance co giãn động, mapping hỏng mỗi khi host bị thay và phải dựng lạ…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…50 ms hoặc 4 MB) → ghi file lên object storage → commit metadata ở Control Plane (để một nơi trung tâm gán offset xác định) → ack. Ở cấu hình latency thấp (batch 50 ms, S3EOZ), kho…
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
…NS : dữ liệu file của desktop client (gRPC end-to-end), metadata RPS cao, notification (hàng triệu kết nối; có thể chuyển long-poll sang streaming gRPC), API, proxy egress ra S3; w…
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…l cho service discovery; thành phần chính dựa vào Consul là database và hệ HA Patroni . Mọi kết nối Consul dùng TLS hai chiều. - Một DB staging restart xong không nối lại được Cons…
- Scaling Cache Infrastructure at Pinterest Bài tóm tắt · Pinterest · 2020
…ice, cho app một endpoint duy nhất, tách control plane khỏi data plane (pool server tách khỏi policy routing), có sẵn observability (latency theo percentile, throughput theo client…
- Shipyard: How We Built Slack's Next-Generation EC2 Platform Bài tóm tắt · Slack · 2026
…- Peekaboo: inventory gần realtime từ sự kiện cloud và metadata (EventBridge, OpenSearch, Lambda), thay cho việc dùng Chef Server làm nguồn sự thật; thấy cả instance không thuộc S…
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…u, Prometheus exporter, CDC publisher đẩy thay đổi bảng vào data pipeline. Readiness: mọi pod mọi region ở trạng thái UN. - Vòng reconcile (an toàn là ưu tiên số một vì chạy không…