Tìm kiếm
40 kết quả cho “Data pipeline”. Tìm không phân biệt dấu.
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ineering.linkedin.com/blog/2019/an-inside-look-at-linkedins-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracl…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…://render.com/blog/how-render-workflows-powers-our-internal-data-pipeline) Bài dùng sản phẩm của chính Render (Workflows, lúc đó đang beta). Phần kiến trúc pipeline vẫn có giá trị…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…://technology.doximity.com/articles/a-smarter-way-to-deploy-data-pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
…//www.twilio.com/engineering/2014/06/26/how-we-replaced-our-data-pipeline-with-zero-downtime) Bối cảnh - Mỗi cuộc gọi hay tin nhắn đi qua các trạng thái in-flight (đổ chuông, đang…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…https://www.zillow.com/tech/pipeline-to-process-clickstream-data/) Bối cảnh - Clickstream là một trong những dataset lớn nhất: gần một tỷ event/ngày , dataset lớn nhất khoảng 2 TB/…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…tps://medium.com/expedia-group-tech/aws-lessons-learned-for-data-processing-pipelines-2c5107bcb048) Site chặn crawler; wiki đọc toàn văn qua trình duyệt, ghi chú bằng lời của wiki.…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…m-ssh-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm E…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…og-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kreps (khi đó ở LinkedIn). Phần lớn là lý thuyết về log; trang này tóm phần kể chuy…
- GitHub Enterprise Cloud with data residency: How we built the next evolution of GitHub Enterprise using GitHub Bài tóm tắt · GitHub · 2024
…neering/engineering-principles/github-enterprise-cloud-with-data-residency/) Bài có phần quảng bá (dùng chính sản phẩm GitHub để làm); phần kỹ thuật chủ yếu là cách mở rộng pipelin…
- Why isn't all test automation run on the pipeline? Bài tóm tắt · Slalom Build · 2019
…chạy service trong test runner. Gộp SpringRunner với runner DataProviderRunner đang dùng thành một runner, dùng @SpringBootTest , rồi đưa vào pipeline. Khoảng một ngày công, chi ph…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…iết kiến trúc ít. Chi tiết đầy đủ nằm trong bài báo IEEE BigData 2021 mà bài trỏ tới. · 2022 · 3. Quy mô lớn · Độ khó: Cơ bản — [bài gốc](https://blog.x.com/engineering/en us/topic…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…tps://engineering.atspotify.com/2022/03/why-we-switched-our-data-orchestration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, c…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-part-2-the-foundational-tools-behind-certification) Phần 2 của series Data Mesh. Phần 1: (tổ chức, chỉ số); ph…
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
…[bài gốc](https://blog.janestreet.com/how-to-shuffle-a-big-dataset/) Bài thuật toán của một researcher, không kể hệ thống thay đổi. Wiki giữ vì nó cho thấy hình dạng dữ liệu huấn…
- Data Mesh at Grab Part I: Building trust through certification Bài tóm tắt · Grab · 2025
…ngineering.grab.com/signals-market-place) Phần 1 của series Data Mesh (Signals Marketplace). Phần 2: (công cụ); phần 3: (sự cố dữ liệu tự động). Bài thiên về tổ chức và cách đo, ít…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…khó: Trung bình — [bài gốc](https://www.uber.com/us/en/blog/database-federation/) Bối cảnh - Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Độ khó: Trung bình — [bài gốc](https://engineering.grab.com/data-mesh-at-grab-part-three) Phần 3 của series Data Mesh; hai phần trước (Signals Marketplace, công cụ chứng nhận) chưa…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…levance. - Quảng cáo: dữ liệu bid lưu dạng dòng lặp lại metadata cho mỗi bid, tốn serialize; chuyển sang dạng cột khớp mẫu truy cập khi chấm điểm, đưa dữ liệu quảng cáo (campaign,…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa có số liệ…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…bình — [bài gốc](https://engineering.linkedin.com/blog/2019/data-hub) Bối cảnh - WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…bình — [bài gốc](https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "th…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…: Trung bình — [bài gốc](https://ducklake.select/2026/04/02/data-inlining-in-ducklake/) Bài của nhà cung cấp quảng bá tính năng của chính họ; benchmark so với Iceberg do họ tự dựng…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Database-per-User Architecture With Isolated Application Environments Bài tóm tắt · Neon · 2024
…lớn · Độ khó: Trung bình — [bài gốc](https://neon.com/blog/database-per-user-architecture-with-isolated-application-environments) Bài hướng dẫn khái niệm của nhà cung cấp (Neon),…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…: Dễ — [bài gốc](https://www.twosigma.com/articles/treating-data-as-code-at-two-sigma/) Bài tổng quan, ít chi tiết kỹ thuật cụ thể (không có số liệu, không có kiến trúc). Mọi nhận…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…om/us/en/blog/apache-hudi-at-uber/) Bối cảnh - Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng của Uber thì khác: dữ liệu thay đổi (vòng đời…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách…
- How HRT Thinks About Data Bài tóm tắt · Hudson River Trading · 2022
…s://www.hudsonrivertrading.com/hrtbeat/how-hrt-thinks-about-data/) Bài quan điểm của một researcher, không kể hệ thống. Wiki giữ vì đây là một trong số ít bài của một quỹ định lượn…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…gốc](https://blog.allegro.tech/2024/12/automating-periodic-data-transfer-from-operational-database-to-a-data-warehouse.html) Bài mô tả giải pháp ở mức khái niệm ("cần chỉnh theo n…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
….x.com/engineering/en us/topics/infrastructure/2022/scaling-data-access-by-moving-an-exabyte-of-data-to-google-cloud) Bối cảnh - 2019: Twitter muốn "dân chủ hoá" việc phân tích dữ…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…khó: Trung bình — [bài gốc](https://www.zillow.com/news/the-data-infra-behind-zillows-3x-growth-in-experiment-volume/) Bối cảnh - Giữa 2020, gần 200 triệu người dùng unique mỗi thá…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…Azure Event Hubs, Kinesis). - Mirror Kafka giữa các cụm và data center dùng Kafka MirrorMaker (KMM) : mỗi cụm KMM chỉ nối một cặp cụm Kafka nên phải vận hành hàng chục tới hàng tr…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse) Phần 1 của hai bài về DWH nội bộ của ClickHouse; phần tiếp theo một năm sau: . Nhà cung…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ung bình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Dat…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…[bài gốc](https://www.notion.com/blog/enabling-multi-region-data-systems-at-notion) Bối cảnh - Notion ra mắt data residency cho khách EU : dữ liệu khách được xử lý và lưu trong reg…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…//engineering.atspotify.com/2026/4/background-coding-agents-dataset-migrations-honk-part-4) Series về coding agent nội bộ "Honk" (chạy Claude Code). Wiki chỉ giữ phần migration dữ…