Tìm kiếm
40 kết quả cho “Data Mesh”. Tìm không phân biệt dấu.
- Data Mesh at Grab Part I: Building trust through certification Bài tóm tắt · Grab · 2025
…ngineering.grab.com/signals-market-place) Phần 1 của series Data Mesh (Signals Marketplace). Phần 2: (công cụ); phần 3: (sự cố dữ liệu tự động). Bài thiên về tổ chức và cách đo, ít…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-part-2-the-foundational-tools-behind-certification) Phần 2 của series Data Mesh. Phần 1: (tổ chức, chỉ số); ph…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-at-grab-part-three) Phần 3 của series Data Mesh; hai phần trước (Signals Marketplace, công cụ chứng nhận) chưa…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa có số liệ…
- How we modified our infrastructure to deploy an EU data center Bài tóm tắt · Asana · 2020
…blog.asana.com/2020/03/infrastructure-engineering-deploy-eu-data-center/) Bối cảnh - Khách hàng doanh nghiệp muốn chọn nơi đặt dữ liệu; Asana mở hạ tầng ở châu Âu (12/2019). - Từ 2…
- Building a data plane from scratch: Stripe's own high-performance distributed proxy Bài tóm tắt · Stripe · 2026
…hó: Nâng cao — [bài gốc](https://stripe.dev/blog/building-a-data-plane-from-scratch-stripes-own-high-performance-distributed-proxy) Bối cảnh - Mục tiêu độ tin cậy 99,9995% cho requ…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách…
- Scaling Production Globally — The service mesh facelift (Part-1) Bài tóm tắt · Achievers · 2022
…mở rộng microservice sang nhiều region trên GKE với yêu cầu data residency chặt. Các cụm Kubernetes đã có nhưng không có failover giữa region ; theo team SRE, mất một cụm hay một s…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse-part-2) Phần 2, viết một năm sau . Bài của nhà cung cấp về chính sản phẩm của họ; các nhậ…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…bài gốc](https://netflixtechblog.com/dblog-a-generic-change-data-capture-framework-69351fb9099b) Bối cảnh - Nền tảng Delta của Netflix giữ nhiều kho dữ liệu đồng bộ: một kho là ngu…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…://render.com/blog/how-render-workflows-powers-our-internal-data-pipeline) Bài dùng sản phẩm của chính Render (Workflows, lúc đó đang beta). Phần kiến trúc pipeline vẫn có giá trị…
- Business-Driven Upgrade of Alibaba Group: The Evolution of Dubbo 3.0 Bài tóm tắt · Alibaba · 2021
…interface là một bản ghi trên registry, mỗi máy đăng ký metadata riêng (serialization, timeout, data center). Một gateway phụ thuộc 30 interface của một ứng dụng upstream thì mỗi l…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…oximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào warehouse (Snowflake): tin cậy,…
- Microservice Architecture at Medium Bài tóm tắt · Medium · 2018
…gay từ đầu : mỗi service tự có dashboard, alert, log search Datadog; LightStep cho tracing. - Không phải service nào cũng viết lại từ đầu: nếu Node.js hợp và code tốt thì bóc khỏi…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…levance. - Quảng cáo: dữ liệu bid lưu dạng dòng lặp lại metadata cho mỗi bid, tốn serialize; chuyển sang dạng cột khớp mẫu truy cập khi chấm điểm, đưa dữ liệu quảng cáo (campaign,…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…rung bình — [bài gốc](https://engineering.fb.com/2025/09/29/data-infrastructure/metas-infrastructure-evolution-and-the-advent-of-ai/) Wiki tập trung vào phần 2004–2020 (tiến hoá hệ…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…không cần sửa code của service đích. Ba tầng: client trong data plane của mesh quyết định tại chỗ và báo số request mỗi giây của từng host; aggregator mỗi zone gộp mức dùng; contr…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…cấu hình cần chủ server duyệt, có rollback về bản trước. - Data plane (Proxy Gateway): đọc cấu hình từ control plane và làm mới trạng thái trong bộ nhớ theo chu kỳ, nên thay đổi c…
- Alibaba Upgrades Dubbo3 to Fully Replace HSF2 Bài tóm tắt · Alibaba · 2023
Sau khi đưa toàn bộ lên cloud, Alibaba muốn stack microservice nội bộ chạy trên middleware mã nguồn mở thay cho framework RPC nội bộ HSF (và Dubbo2 ở Alibaba Cloud).
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…