Tìm kiếm
40 kết quả cho “PIP”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Improving Python: How we made pip install twice as fast Bài tóm tắt · Man Group · 2025
…mỗi ngày. - Khi các package manager mới tuyên bố nhanh hơn pip 10–100 lần, đội nhận ticket điều tra. Một kỹ sư có hai mươi năm kinh nghiệm Python profile pip với bộ gói đại diện:…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…nder.com/blog/how-render-workflows-powers-our-internal-data-pipeline) Bài dùng sản phẩm của chính Render (Workflows, lúc đó đang beta). Phần kiến trúc pipeline vẫn có giá trị chung…
- Why isn't all test automation run on the pipeline? Bài tóm tắt · Slalom Build · 2019
…um.com/slalom-build/why-isnt-all-test-automation-run-on-the-pipeline-b2c57afbdf5a) Bài quan điểm của một kỹ sư tư vấn, minh hoạ bằng bốn ca khách hàng ẩn danh. Nhận định là theo tá…
- Building an Effective Test Pipeline in a Service Oriented World Bài tóm tắt · Airbnb · 2020
…://medium.com/airbnb-engineering/building-an-effective-test-pipeline-in-a-service-oriented-world-6968c513c6bd) Bối cảnh - Airbnb đang chuyển từ một ứng dụng Rails khổng lồ sang SOA…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ing.linkedin.com/blog/2019/an-inside-look-at-linkedins-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), j…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…ngineering.salesforce.com/our-journey-to-a-near-perfect-log-pipeline-6ae2f80cf7a0) Bối cảnh - Log của ứng dụng lõi Salesforce trong các data center phục vụ nhiều nhóm (Product Inte…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…Độ khó: Trung bình — [bài gốc](https://www.zillow.com/tech/pipeline-to-process-clickstream-data/) Bối cảnh - Clickstream là một trong những dataset lớn nhất: gần một tỷ event/ngày…
- Running an automated test pipeline for the League client update Bài tóm tắt · Riot Games · 2016
…ttps://technology.riotgames.com/news/running-automated-test-pipeline-league-client-update) Bối cảnh - Client cũ của League of Legends viết bằng Adobe AIR, có những lỗi lọt ra người…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…chnology.doximity.com/articles/a-smarter-way-to-deploy-data-pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy , hàng chục lần cập…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…/expedia-group-tech/aws-lessons-learned-for-data-processing-pipelines-2c5107bcb048) Site chặn crawler; wiki đọc toàn văn qua trình duyệt, ghi chú bằng lời của wiki. Bài ngắn, dạng…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
….twilio.com/engineering/2014/06/26/how-we-replaced-our-data-pipeline-with-zero-downtime) Bối cảnh - Mỗi cuộc gọi hay tin nhắn đi qua các trạng thái in-flight (đổ chuông, đang gọi,…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…[bài gốc](https://www.uber.com/us/en/blog/uber-eats-search-pipeline/) Bối cảnh - Latency search của Uber Eats đã tăng tới mức không chấp nhận được. Ba nguyên nhân chính: retrieval…
- The Legends of Runeterra CI/CD Pipeline Bài tóm tắt · Riot Games · 2021
…ttps://technology.riotgames.com/news/legends-runeterra-cicd-pipeline) Pipeline của một game (client Unity + game server). Wiki giữ phần hạ tầng build/test/deploy, bỏ qua chi tiết r…
- Acceptance Tests On CI Pipeline Bài tóm tắt · Trendyol · 2020
…ốc](https://medium.com/trendyol-tech/acceptance-tests-on-ci-pipeline-e6272c418152) Bài ngắn của một scrum team, viết khi refactor một ứng dụng legacy; phần lớn là cấu hình Docker.…
- PIT Mutation Testing on CI/CD Pipeline Bài tóm tắt · Trendyol · 2021
…ps://medium.com/trendyol-tech/pit-mutation-testing-on-ci-cd-pipeline-1298f355bae5) Bài nửa hướng dẫn cấu hình (Maven, GitLab CI, SonarQube); wiki chỉ giữ các quyết định về pipeline…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm EMR th…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…blog.coinbase.com/open-sourcing-coinbases-secure-deployment-pipeline-ae6c78e25517) Bài cũ của blog.coinbase.com (Medium), nay redirect sang coinbase.com và chặn crawler; đọc qua tr…
- Scaling our security detection pipeline with Sigma Bài tóm tắt · Monzo · 2022
…://monzo.com/blog/2022/08/05/scaling-our-security-detection-pipeline-with-sigma) Bối cảnh - Kiểm soát bảo mật gồm phòng ngừa (mật khẩu, 2FA) và phát hiện (cảnh báo đăng nhập từ thi…
- How we reduced our CI YAML files from 1800 lines to 50 lines Bài tóm tắt · Grab · 2022
…ảnh - Cauldron là đội nền tảng ML của Grab. Sản phẩm MerLin Pipelines cho mỗi team một repo chứa các pipeline ML; mỗi pipeline một thư mục con, mỗi thư mục chia thành stage (ví dụ…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…h sạn từ OTA, chuỗi khách sạn, nhà cung cấp nội dung; nhiều pipeline lọc, gắn nhãn (ML), chọn ảnh chính và gallery. - Khởi đầu: framework PHP nội bộ, RabbitMQ, worker trong data ce…
- GoCD on Kubernetes Bài tóm tắt · Disney Hotstar · 2020
…ge/môi trường. Rollback phải làm bằng tham số version trong pipeline, nên không rõ cái gì đang thật sự được deploy. Thay đổi chính - Chọn GoCD (công cụ continuous delivery): pipeli…
- GitHub Enterprise Cloud with data residency: How we built the next evolution of GitHub Enterprise using GitHub Bài tóm tắt · GitHub · 2024
…phẩm GitHub để làm); phần kỹ thuật chủ yếu là cách mở rộng pipeline deploy sang target mới. Bối cảnh - Doanh nghiệp muốn kiểm soát dữ liệu của mình nằm ở vùng địa lý nào. GitHub l…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…mới đều ra cùng file: không lưu hai bản PB, không chạy hai pipeline, đổi con trỏ là thao tác tức thì, nhất quán sẵn. - Bootstrap Migrator: một file cấu hình mỗi database đích; Dri…
- Open Sourcing Screwdriver, Yahoo's Continuous Delivery Build System for Dynamic Infrastructure Bài tóm tắt · Yahoo · 2017
…iều ngôn ngữ, build trên VM lẫn container. Thay đổi chính - Pipeline dễ dựng, nằm trong repo: cấu hình pipeline sống trong repo code, nên developer tự cấu hình và review thay đổi p…
- Faster Python 3.14: faster compression and fixing 28-year-old bugs Bài tóm tắt · Man Group · 2026
…gy/faster-python) Phần tiếp của . Bối cảnh - Sau khi tối ưu pip, đội Python Platform của Man Group nhìn xuống interpreter: code I/O, buffer, thư viện nén. pip bị giới hạn chỉ dùng…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ic (Chronosphere) để giám sát bản app mới. - Trước đây: vài pipeline từ monolith vào Snowflake, mỗi cái dựng một kiểu, chỉ xử lý một loại event, đi qua nhiều hệ queue khác nhau khô…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…và file log; mỗi nguồn mới cần cấu hình riêng và hay hỏng; pipeline hỏng thì Hadoop "chạy thuật toán hay trên dữ liệu xấu". Thay đổi chính - Bài toán O(N²): hàng chục hệ, mỗi hệ v…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…data-orchestration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo…
- TimescaleDB to ClickHouse replication: Use cases, features, and how we built it Bài tóm tắt · ClickHouse · 2025
…c](https://clickhouse.com/blog/timescale-to-clickhouse-clickpipe-cdc) Bài quảng bá sản phẩm của nhà cung cấp (ClickPipes, dựa trên PeerDB mà ClickHouse mua năm 2024). Mọi nhận định…
- Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems Bài tóm tắt · Mercari · 2022
…ing-systems/) Bài của team Security Engineering về giám sát pipeline thu log bảo mật (SOAR) của chính họ; wiki chỉ giữ phần giám sát pipeline, bỏ qua nội dung bảo mật. Bối cảnh - P…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…gốc](https://tech.trivago.com/post/2021-07-07-image-gallery-pipeline) Bối cảnh - Một pipeline ETL sinh gallery ảnh đã sắp thứ tự cho mỗi chỗ ở (theo tag nội dung và chất lượng ảnh)…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…ode, hàng trăm petabyte, hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài…
- The Invisible Rewrite: Modernizing the Kubernetes Image Promoter Bài tóm tắt · Kubernetes · 2026
…g với backoff thích ứng → đưa registry/auth sau interface → pipeline engine chạy promote thành chuỗi pha riêng → kiểm tra provenance → quét lỗ hổng, SBOM, bật engine mới làm mặc đị…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…d, user) từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy c…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…ột rollup viết bằng truy vấn Redshift theo hợp đồng cơ bản; pipeline tự đưa nó tới trang kết quả. - Chống hệ quả của nhiều metric: nhiều metric dẫn tới chọn lọc kết quả theo định k…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ime-features-for-near-real-time-personalization) Bối cảnh - Pipeline feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Tr…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…ai. Họ tăng pod từ 16 lên 20 GB. - Migration: - dựng shadow pipeline đầy đủ (stream và bảng riêng), chạy 4 tuần; - so tỷ lệ làm giàu event (khớp 99,9%, ngưỡng 99–101%), số liệu the…
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
…ng dữ liệu huấn luyện của một công ty quant và cách tổ chức pipeline quanh nó. Bối cảnh - Theo bài, dữ liệu ở Jane Street có tỉ lệ tín hiệu/nhiễu rất thấp nhưng rất nhiều: kiểu một…
- Rust's CI is moving to GitHub Actions Bài tóm tắt · Rust · 2020
…à test compiler trên mọi nền tảng hỗ trợ; trên hệ cũ (Azure Pipelines, VM 2 core) mỗi builder mất 3–4 giờ . Ghép với "mỗi lần một PR", PR thường chờ nhiều ngày trong hàng đợi (2020…