Tìm kiếm
40 kết quả cho “Pipeline”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…nder.com/blog/how-render-workflows-powers-our-internal-data-pipeline) Bài dùng sản phẩm của chính Render (Workflows, lúc đó đang beta). Phần kiến trúc pipeline vẫn có giá trị chung…
- Why isn't all test automation run on the pipeline? Bài tóm tắt · Slalom Build · 2019
…um.com/slalom-build/why-isnt-all-test-automation-run-on-the-pipeline-b2c57afbdf5a) Bài quan điểm của một kỹ sư tư vấn, minh hoạ bằng bốn ca khách hàng ẩn danh. Nhận định là theo tá…
- Building an Effective Test Pipeline in a Service Oriented World Bài tóm tắt · Airbnb · 2020
…://medium.com/airbnb-engineering/building-an-effective-test-pipeline-in-a-service-oriented-world-6968c513c6bd) Bối cảnh - Airbnb đang chuyển từ một ứng dụng Rails khổng lồ sang SOA…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ing.linkedin.com/blog/2019/an-inside-look-at-linkedins-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), j…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…ngineering.salesforce.com/our-journey-to-a-near-perfect-log-pipeline-6ae2f80cf7a0) Bối cảnh - Log của ứng dụng lõi Salesforce trong các data center phục vụ nhiều nhóm (Product Inte…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…Độ khó: Trung bình — [bài gốc](https://www.zillow.com/tech/pipeline-to-process-clickstream-data/) Bối cảnh - Clickstream là một trong những dataset lớn nhất: gần một tỷ event/ngày…
- Running an automated test pipeline for the League client update Bài tóm tắt · Riot Games · 2016
…ttps://technology.riotgames.com/news/running-automated-test-pipeline-league-client-update) Bối cảnh - Client cũ của League of Legends viết bằng Adobe AIR, có những lỗi lọt ra người…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…chnology.doximity.com/articles/a-smarter-way-to-deploy-data-pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần cập…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…/expedia-group-tech/aws-lessons-learned-for-data-processing-pipelines-2c5107bcb048) Site chặn crawler; wiki đọc toàn văn qua trình duyệt, ghi chú bằng lời của wiki. Bài ngắn, dạng…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
….twilio.com/engineering/2014/06/26/how-we-replaced-our-data-pipeline-with-zero-downtime) Bối cảnh - Mỗi cuộc gọi hay tin nhắn đi qua các trạng thái in-flight (đổ chuông, đang gọi,…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…[bài gốc](https://www.uber.com/us/en/blog/uber-eats-search-pipeline/) Bối cảnh - Latency search của Uber Eats đã tăng tới mức không chấp nhận được. Ba nguyên nhân chính: retrieval…
- The Legends of Runeterra CI/CD Pipeline Bài tóm tắt · Riot Games · 2021
…ttps://technology.riotgames.com/news/legends-runeterra-cicd-pipeline) Pipeline của một game (client Unity + game server). Wiki giữ phần hạ tầng build/test/deploy, bỏ qua chi tiết r…
- Acceptance Tests On CI Pipeline Bài tóm tắt · Trendyol · 2020
…ốc](https://medium.com/trendyol-tech/acceptance-tests-on-ci-pipeline-e6272c418152) Bài ngắn của một scrum team, viết khi refactor một ứng dụng legacy; phần lớn là cấu hình Docker.…
- PIT Mutation Testing on CI/CD Pipeline Bài tóm tắt · Trendyol · 2021
…ps://medium.com/trendyol-tech/pit-mutation-testing-on-ci-cd-pipeline-1298f355bae5) Bài nửa hướng dẫn cấu hình (Maven, GitLab CI, SonarQube); wiki chỉ giữ các quyết định về pipeline…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm EMR th…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…blog.coinbase.com/open-sourcing-coinbases-secure-deployment-pipeline-ae6c78e25517) Bài cũ của blog.coinbase.com (Medium), nay redirect sang coinbase.com và chặn crawler; đọc qua tr…
- Scaling our security detection pipeline with Sigma Bài tóm tắt · Monzo · 2022
…://monzo.com/blog/2022/08/05/scaling-our-security-detection-pipeline-with-sigma) Bối cảnh - Kiểm soát bảo mật gồm phòng ngừa (mật khẩu, 2FA) và phát hiện (cảnh báo đăng nhập từ thi…
- How we reduced our CI YAML files from 1800 lines to 50 lines Bài tóm tắt · Grab · 2022
…ảnh - Cauldron là đội nền tảng ML của Grab. Sản phẩm MerLin Pipelines cho mỗi team một repo chứa các pipeline ML; mỗi pipeline một thư mục con, mỗi thư mục chia thành stage (ví dụ…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…h sạn từ OTA, chuỗi khách sạn, nhà cung cấp nội dung; nhiều pipeline lọc, gắn nhãn (ML), chọn ảnh chính và gallery. - Khởi đầu: framework PHP nội bộ, RabbitMQ, worker trong data ce…
- GoCD on Kubernetes Bài tóm tắt · Disney Hotstar · 2020
…ge/môi trường. Rollback phải làm bằng tham số version trong pipeline, nên không rõ cái gì đang thật sự được deploy. Thay đổi chính - Chọn GoCD (công cụ continuous delivery): pipeli…
- GitHub Enterprise Cloud with data residency: How we built the next evolution of GitHub Enterprise using GitHub Bài tóm tắt · GitHub · 2024
…phẩm GitHub để làm); phần kỹ thuật chủ yếu là cách mở rộng pipeline deploy sang target mới. Bối cảnh - Doanh nghiệp muốn kiểm soát dữ liệu của mình nằm ở vùng địa lý nào. GitHub l…
- Open Sourcing Screwdriver, Yahoo's Continuous Delivery Build System for Dynamic Infrastructure Bài tóm tắt · Yahoo · 2017
…iều ngôn ngữ, build trên VM lẫn container. Thay đổi chính - Pipeline dễ dựng, nằm trong repo: cấu hình pipeline sống trong repo code, nên developer tự cấu hình và review thay đổi p…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…và file log; mỗi nguồn mới cần cấu hình riêng và hay hỏng; pipeline hỏng thì Hadoop "chạy thuật toán hay trên dữ liệu xấu". Thay đổi chính - Bài toán O(N²): hàng chục hệ, mỗi hệ v…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…data-orchestration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo…
- Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems Bài tóm tắt · Mercari · 2022
…ing-systems/) Bài của team Security Engineering về giám sát pipeline thu log bảo mật (SOAR) của chính họ; wiki chỉ giữ phần giám sát pipeline, bỏ qua nội dung bảo mật. Bối cảnh - P…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…gốc](https://tech.trivago.com/post/2021-07-07-image-gallery-pipeline) Bối cảnh - Một pipeline ETL sinh gallery ảnh đã sắp thứ tự cho mỗi chỗ ở (theo tag nội dung và chất lượng ảnh)…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…ode, hàng trăm petabyte, hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài…
- The Invisible Rewrite: Modernizing the Kubernetes Image Promoter Bài tóm tắt · Kubernetes · 2026
…g với backoff thích ứng → đưa registry/auth sau interface → pipeline engine chạy promote thành chuỗi pha riêng → kiểm tra provenance → quét lỗ hổng, SBOM, bật engine mới làm mặc đị…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…d, user) từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy c…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…ột rollup viết bằng truy vấn Redshift theo hợp đồng cơ bản; pipeline tự đưa nó tới trang kết quả. - Chống hệ quả của nhiều metric: nhiều metric dẫn tới chọn lọc kết quả theo định k…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ime-features-for-near-real-time-personalization) Bối cảnh - Pipeline feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Tr…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…ai. Họ tăng pod từ 16 lên 20 GB. - Migration: - dựng shadow pipeline đầy đủ (stream và bảng riêng), chạy 4 tuần; - so tỷ lệ làm giàu event (khớp 99,9%, ngưỡng 99–101%), số liệu the…
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
…ng dữ liệu huấn luyện của một công ty quant và cách tổ chức pipeline quanh nó. Bối cảnh - Theo bài, dữ liệu ở Jane Street có tỉ lệ tín hiệu/nhiễu rất thấp nhưng rất nhiều: kiểu một…
- Rust's CI is moving to GitHub Actions Bài tóm tắt · Rust · 2020
…à test compiler trên mọi nền tảng hỗ trợ; trên hệ cũ (Azure Pipelines, VM 2 core) mỗi builder mất 3–4 giờ . Ghép với "mỗi lần một PR", PR thường chờ nhiều ngày trong hàng đợi (2020…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…, đảm bảo at-least-once yếu, không có dead letter hay retry pipeline. Một message chậm (poison pill) chặn cả partition ( head-of-line blocking ). Thay đổi chính - zkafka : thư viện…
- Chaos Testing a Distributed System with Jepsen — Part II Bài tóm tắt · Appian · 2019
…ct.clj của Leiningen đọc biến môi trường. - Đưa vào Jenkins Pipeline: job nhận tham số phiên bản, thời lượng, số node (3 hoặc 5); chỉ chạy trên master (có cờ ép chạy nhánh khác); m…
- Fly Behind The Scenes: Fresh Logging Bài tóm tắt · Fly.io · 2020
…ho log làm việc tìm kiếm xuyên ứng dụng khả thi. - Cấu hình pipeline phân tán cần test và validate tự động như code. Liên quan - · · · -…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…