新火種
2023-11-01 
PyTorch1.7發(fā)布，支持CUDA11、Windows分布式訓(xùn)練
機(jī)器之心報(bào)道
參與：魔王、小舟
昨日，PyTorch 團(tuán)隊(duì)發(fā)布 PyTorch 1.7 版本。該版本增添了很多新特性，如支持 CUDA 11、Windows 分布式訓(xùn)練、增加了支持快速傅里葉變換（FFT）的新型 API 等。
PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及對基于分布式數(shù)據(jù)并行（DDP）和基于遠(yuǎn)程過程調(diào)用（RPC）的分布式訓(xùn)練的重要更新。
此外，一些特性也更新為穩(wěn)定版，包括自定義 C++ 類、內(nèi)存分析器、通過自定義類張量對象進(jìn)行擴(kuò)展、RPC 中的用戶異步函數(shù)，以及 torch.distributed 中的許多其他特性（如 Per-RPC 超時(shí)、DDP dynamic bucketing、RRef helper）。
本次更新的亮點(diǎn)包括：
CUDA 11 得到 PyTorch 官方支持；
對 autograd 分析器，更新和添加了 RPC、TorchScript 和堆棧跟蹤（Stack trace）的分析和性能；
（測試版）通過 torch.fft 支持 NumPy 兼容的 FFT 操作；
（原型版）支持英偉達(dá) A100 GPU 和原生 TF32 格式；
（原型版）支持 Windows 系統(tǒng)上的分布式訓(xùn)練。
torchvision
（穩(wěn)定版）transforms 支持張量輸入、批處理計(jì)算、GPU 和 TorchScript
（穩(wěn)定版）JPEG 和 PNG 格式的原生圖像 I/O
（測試版）新型視頻讀取器 API
torchaudio
（穩(wěn)定版）增加了對語音錄制（wav2letter）、文本轉(zhuǎn)語音（WaveRNN）和源分離（ConvTasNet）的支持
（注：從 PyTorch 1.6 版本開始，PyTorch 特性分為 Stable（穩(wěn)定版）、Beta（測試版）和 Prototype（原型版）。
新特性
PyTorch 1.7 相比之前版本，增加了很多新特性，包括 Python API、C++ API、Autograd、CUDA、量化等多個(gè)方面。
例如 Python API 增添了多個(gè)新的 namespace、operator 以及 API 擴(kuò)展，CUDA 增加了 TF32 支持等，量化方面增加了新的量化操作、支持 FP16 量化等。
PyTorch 1.7 部分新特性，詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。
開發(fā)者對 PyTorch 1.7 的態(tài)度
有開發(fā)者對 PyTorch 1.7「支持 Windows 上的分布式訓(xùn)練」這一新功能表示贊賞：
以及樂見于「PyTorch 對 CUDA 11 的支持」：
依然有人趁機(jī)表白 PyTorch，并列出偏好 PyTorch 的原因，如報(bào)錯(cuò)易讀、代碼直觀、易于實(shí)驗(yàn)。
當(dāng)然，版本更迭的路似乎永無止境。有開發(fā)者提出了自己的需求，例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning：
此時(shí)距離 PyTorch 1.6 版本發(fā)布僅三個(gè)月，不知道 PyTorch 的下一個(gè)版本又將帶給我們哪些驚喜。
參考鏈接：
https://pytorch.org/blog/pytorch-1.7-released/
https://github.com/pytorch/pytorch/releases/tag/v1.7.0
https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
