Tìm kiếm
40 kết quả cho “Image pipeline”. Tìm không phân biệt dấu.
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…g bình — [bài gốc](https://tech.trivago.com/post/2024-05-14-image-migration-to-gcp) Bối cảnh - trivago nhận ảnh khách sạn từ OTA, chuỗi khách sạn, nhà cung cấp nội dung; nhiều pipe…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
…: Trung bình — [bài gốc](https://www.zillow.com/engineering/image-processing-in-aws/) Bối cảnh - Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillo…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- The Invisible Rewrite: Modernizing the Kubernetes Image Promoter Bài tóm tắt · Kubernetes · 2026
…rung bình — [bài gốc](https://kubernetes.io/blog/2026/03/17/image-promoter-rewrite/) Bài của SIG Release. Phần chữ ký số (cosign, SLSA, SBOM) chỉ tóm tắt ngắn; lõi của bài là viết…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…g bình — [bài gốc](https://tech.trivago.com/post/2021-07-07-image-gallery-pipeline) Bối cảnh - Một pipeline ETL sinh gallery ảnh đã sắp thứ tự cho mỗi chỗ ở (theo tag nội dung và c…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…e, dự định chuyển sang EKS. - Cách deploy cũ: build DAG vào image Airflow trong CI/CD, gần 20 phút mỗi lần, mỗi thay đổi của bất kỳ team nào kích hoạt rebuild toàn bộ; muốn nhận th…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…20260927-a-kubernetes-resource-that-doesnt-exist-caching-ci-images-on-ephemeral-runners/) Bối cảnh - Mercari tự chạy runner GitHub Actions bằng Actions Runner Controller (ARC) trên…
- Acceptance Tests On CI Pipeline Bài tóm tắt · Trendyol · 2020
…bằng stub . - Dựng môi trường cô lập bằng Docker Compose : image Couchbase tự build sẵn bucket và index (tạo qua API của Couchbase trước khi test chạy), WireMock giả hai API ngoài…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…lỗi và chống trôi cấu hình. Slack 2026 đi tới cùng chỗ bằng image đã bake (). - Trạng thái kết thúc "thất bại nhưng dọn sạch" và "thất bại, còn rác" nên tách bạch; cái sau là alert…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…workflow là các task phụ thuộc đệ quy, đóng gói cả vào một image Docker, Styx lập lịch và chạy trên GKE; đồ thị phụ thuộc chỉ được khám phá lúc chạy. - Vấn đề của mô hình thư viện…
- Fleet Management at Spotify (Part 3): Fleet-wide Refactoring Bài tóm tắt · Spotify · 2023
…nền tảng do một team sở hữu): biến đổi code được đóng thành image Docker (từ sed tới OpenRewrite), Fleetshift chạy nó trên từng repo bằng hạ tầng Kubernetes sẵn có (không còn chạy…
- Shipyard: How We Built Slack's Next-Generation EC2 Platform Bài tóm tắt · Slack · 2026
…AMD64 và Graviton, nhiều OS (Ubuntu, RHEL, Amazon Linux). - Image phân lớp như container: base "slack-zero" (OS + hardening, mạng, service discovery, agent giám sát và bảo mật) do…
- Adopting Arm at Scale: Bootstrapping Infrastructure Bài tóm tắt · Uber · 2025
…host tới pipeline build, đều gắn chặt với x86. - Host: dựng image host cho Arm (OS, kernel, phần mềm nền), build lại và kiểm từng thành phần. - Build: ảnh container của 5.000+ serv…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- trivago Công ty Thành viên
Service PSE-kafka đẩy giá khách sạn sang dịch vụ Ads bị consumer lag kéo dài (19 sự cố P1) dù CPU chỉ 10%. Năm 2026 một đợt điều tra tìm ra ba nút thắt cùng lúc (consumer tự viết từ 2019, độ trễ cố ý trong RAM, pool…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- On-Demand Dagger Engines with Argo CD, EKS, and Karpenter Bài tóm tắt · Dagger · 2024
Dagger Engine là thứ chạy pipeline CI (dựa trên BuildKit). Nâng cấp engine tại chỗ dễ gây gián đoạn, nên họ muốn developer tự chọn phiên bản engine trong workflow và phiên bản mới tự có sẵn khi phát hành.
- How we designed our continuous integration system to be more than 50% faster Bài tóm tắt · Pinterest · 2021
…lease ): developer chỉ khai báo muốn phát hành gì; rule đẩy image vào registry nội bộ và đưa artifact cho nền tảng CD (Teletraan cho EC2, Hermez cho Kubernetes). Mỗi rule là một ma…
- Kubernetes Công ty Thành viên
Hai nguồn đầu của dự án Kubernetes trong wiki kể quyết định kiến trúc nằm bên trong nền tảng mà nhiều công ty khác dựng lên trên. Năm 2018, kube-proxy dùng iptables (danh sách luật vốn cho firewall) là nút cổ chai thật…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…- Trước nền tảng này: model và feature đóng chung vào build image theo lịch phát hành cố định, lỡ một đợt thì chờ đợt sau, thường vài tuần; nhiều bước tay giữa các team, release en…
- How We Halved Go Monorepo CI Build Time Bài tóm tắt · Uber · 2022
…server giữa các shard, định danh theo phiên bản Bazel, hash image, tên job: CTC nhanh hơn gần 60% . - Cache trên host: snapshot module cache Go (cho go mod tidy mỗi job) và output…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…, tin nhắn Slack, log build; quét định kỳ repo, filesystem, image container. Phát hiện thì tự tìm chủ sở hữu, mở ticket theo mức ưu tiên; chủ phải thu hồi secret và xoá khỏi chỗ lộ…
- Building reproducible Python environments with XARs Bài tóm tắt · Jane Street · 2023
…ile nhỏ hàng loạt trên NFS là bẫy hiệu năng; đóng thành một image mount được giải quyết gọn. - Bài toán liên kết tĩnh hay động áp dụng cả cho môi trường Python: tĩnh cho phép test…