「PyTorch 2.15」リリース ─ 新しいNCCLバックエンドを標準化

　PyTorch Foundationは10月28日(現地時間)、オープンソースの機械学習フレームワーク「PyTorch 2.15」をリリースした。

　「PyTorch」は、テンソル演算や自動微分、ニューラルネットワーク構築、GPUアクセラレーションなどの機能を備える機械学習フレームワーク。研究開発から大規模なAIモデルの学習・推論まで幅広く利用されている。

　「PyTorch 2.15」は、分散学習基盤や低精度演算、各社のGPUへの対応などが強化されたアップデートリリース。PyTorch 2.14でプレビュー提供されていた新しいNCCLバックエンドが標準となったほか、NVIDIA Blackwell、AMD Instinct、Intel GPU、Apple Silicon向けの機能や性能が改善されている。

　「PyTorch 2.15」のハイライトは次の通り。
〇再設計されたNCCLバックエンドを分散学習の標準として採用
〇通信処理の停止時に各ランクの状態を記録するFlight Recorderを追加
〇「torch.distributed」にNIXLを利用した一方向通信を追加
〇FSDP2とパイプライン並列処理のメモリーおよび通信制御を強化
〇NVIDIA BlackwellでNVFP4を利用したLLMデコードを高速化
〇Apple SiliconでFP8演算とMoEモデル向け「grouped_mm」をサポート
〇Apple Silicon向けの「torch.mps.Stream」APIを公開
〇AMD gfx950向けFlyDSLカーネルとgfx1250／MI450向け機能を追加
〇ROCm 7.14およびROCm 10.0用のバイナリを提供
〇Intel GPUでSYCLカーネルの作成とマルチGPUプロファイリングを改善
〇CUDA 13.2を標準とし、CUDA 13.4用バイナリも提供
〇Python 3.15で「torch.compile」を利用可能に変更
など。

　分散学習では、PyTorch側で再設計されたNCCLバックエンドが「nccl」の標準実装となった。通信処理が停止した際にはFlight Recorderが各プロセスの状態を記録するため、大規模なGPUクラスターで問題の原因を調査しやすくなる。

　ハードウェア対応では、NVIDIA Blackwell上で4ビットのNVFP4を利用したLLMデコードを高速化した。Apple SiliconではFP8演算やMoEモデル向けの高速化を追加し、AMD GPUでは次世代Instinct向け機能を拡充している。Windows版のCUDAビルドでも、Ampere以降のGPUでFlashAttentionが利用可能になった。

　セキュリティ関連では、「torch.load(weights_only=True)」で不正なチェックポイントを処理する際の問題や、「torch_shm_manager」で長いUnixソケットパスを扱った際のスタックバッファーオーバーフローなどが修正された。

　PyTorch 2.15のバイナリはPyPIおよびWebサイトから入手できる。

(川原 龍人/びぎねっと)

[関連リンク]
リリースアナウンス
リリースノート(GitHub)