Evolution of the PyTorch Media Processing Landscape

PyTorch · 2026 · 4. Điều chỉnh · Độ khó: Dễ — bài gốc

Dự án mã nguồn mở (Meta/Linux Foundation); wiki giữ phần gộp thư viện và tách lịch phát hành.

Bối cảnh

Vài năm trước, giải mã/mã hoá media rải rác và trùng lặp giữa TorchVision và TorchAudio, mỗi bên một stack. TorchVision riêng có nhiều lối vào (read_video, VideoReader) trên ba backend (PyAV, FFmpeg C++, CUDA/NVCUVID), chỉ PyAV dùng được ngay, hai cái kia phải tự build.
Media I/O kéo theo nhiều phụ thuộc native: sáu phiên bản FFmpeg chính (4 tới 9), SDK codec của NVIDIA, mỗi định dạng ảnh một thư viện với điều kiện giấy phép riêng; tất cả là C/C++, làm build, CI và phát hành khó.

Gộp mọi giải mã/mã hoá (ảnh, video, audio; CPU và CUDA) vào TorchCodec; API cũ trong TorchVision/TorchAudio bị deprecate hoặc gỡ. Lý do: một chỗ cho người dùng, công sức tối ưu dồn vào một nơi, một nơi gánh phụ thuộc native.
Thu hẹp phạm vi: TorchVision và TorchAudio giữ phần transform (phần được dùng nhiều nhất); model, dataset, pipeline không còn phát triển vì hệ sinh thái khác (HuggingFace) làm tốt hơn. TorchAudio bị ảnh hưởng nặng nhất; nhờ phản hồi cộng đồng, vài API phổ biến định gỡ đã được giữ lại.
ABI ổn định cho cả ba thư viện: một phiên bản không còn gắn với một phiên bản PyTorch, không phải build lại mỗi lần PyTorch phát hành, nên lịch phát hành tách khỏi PyTorch. Có hướng dẫn chuyển từ API cũ sang TorchCodec.

Nhiều cài đặt song song của cùng chức năng thì không rõ cái nào đáng tối ưu, và chi phí phụ thuộc native bị nhân lên.

Gộp các cài đặt trùng lặp về một thư viện có chủ rõ ràng; deprecate có lộ trình và nghe phản hồi trước khi gỡ.
ABI ổn định tách lịch phát hành của các gói phụ khỏi lõi, giảm số tổ hợp phải build và test.