「PyTorch 2.15」リリース ─ 新しいNCCLバックエンドを標準化

CUDA 13.2やPython 3.15に対応、BlackwellとApple Siliconで推論性能を強化

11月1日 21:21

 PyTorch Foundationは10月28日(現地時間)、オープンソースの機械学習フレームワーク「PyTorch 2.15」をリリースした。

 「PyTorch」は、テンソル演算や自動微分、ニューラルネットワーク構築、GPUアクセラレーションなどの機能を備える機械学習フレームワーク。研究開発から大規模なAIモデルの学習・推論まで幅広く利用されている。

 「PyTorch 2.15」は、分散学習基盤や低精度演算、各社のGPUへの対応などが強化されたアップデートリリース。PyTorch 2.14でプレビュー提供されていた新しいNCCLバックエンドが標準となったほか、NVIDIA Blackwell、AMD Instinct、Intel GPU、Apple Silicon向けの機能や性能が改善されている。

 「PyTorch 2.15」のハイライトは次の通り。
〇再設計されたNCCLバックエンドを分散学習の標準として採用
〇通信処理の停止時に各ランクの状態を記録するFlight Recorderを追加
〇「torch.distributed」にNIXLを利用した一方向通信を追加
〇FSDP2とパイプライン並列処理のメモリーおよび通信制御を強化
〇NVIDIA BlackwellでNVFP4を利用したLLMデコードを高速化
〇Apple SiliconでFP8演算とMoEモデル向け「grouped_mm」をサポート
〇Apple Silicon向けの「torch.mps.Stream」APIを公開
〇AMD gfx950向けFlyDSLカーネルとgfx1250/MI450向け機能を追加
〇ROCm 7.14およびROCm 10.0用のバイナリを提供
〇Intel GPUでSYCLカーネルの作成とマルチGPUプロファイリングを改善
〇CUDA 13.2を標準とし、CUDA 13.4用バイナリも提供
〇Python 3.15で「torch.compile」を利用可能に変更
など。

 分散学習では、PyTorch側で再設計されたNCCLバックエンドが「nccl」の標準実装となった。通信処理が停止した際にはFlight Recorderが各プロセスの状態を記録するため、大規模なGPUクラスターで問題の原因を調査しやすくなる。

 ハードウェア対応では、NVIDIA Blackwell上で4ビットのNVFP4を利用したLLMデコードを高速化した。Apple SiliconではFP8演算やMoEモデル向けの高速化を追加し、AMD GPUでは次世代Instinct向け機能を拡充している。Windows版のCUDAビルドでも、Ampere以降のGPUでFlashAttentionが利用可能になった。

 セキュリティ関連では、「torch.load(weights_only=True)」で不正なチェックポイントを処理する際の問題や、「torch_shm_manager」で長いUnixソケットパスを扱った際のスタックバッファーオーバーフローなどが修正された。

 PyTorch 2.15のバイナリはPyPIおよびWebサイトから入手できる。

(川原 龍人/びぎねっと)

[関連リンク]
リリースアナウンス
リリースノート(GitHub)

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

サーバやOSの保守期限、VMware環境の見直しといった節目に考える、Oracle AI Databaseの次期基盤。オンプレ継続・AWS・OCIそれぞれの特性と留意点を整理するWebセミナー 11月19日 16:00 AIエージェントの“見えないリスク”に備えてアイデンティティを「関係」で統制する 11月17日 6:25 AI生成コードをどう安全に使うか――決定論的検証とAutoFixで築く品質保証ワークフロー 11月16日 6:30 デジタル主権時代、データとモデルの持ち方は企業が主体的に定める 11月13日 6:25 ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30