「PyTorch」がMeta(旧Facebook)からLinux Foundationの傘下に新しく設立されたPyTorch Foundationへ移管

こんにちは、吉田です。今回は「PyTorch」がMeta(旧Facebook)からLinux Foundationの傘下に新しく設立されたPyTorch Foundationに移管されたので紹介します。

PyTorch Foundationは、最先端のAIツール、ライブラリ、その他のコンポーネントへのアクセスを民主化し、AIの進歩を加速するとしています。このプロジェクトではAMD、Amazon Web Services、Google Cloud、 Meta、Microsoft AzureおよびNvidiaが理事に就任し、今後も拡大していくことになっています。また、Metaは移管後もPyTorchへの投資を継続し、自社のAI研究開発のプラットフォームとして引き続き利用すると発表しています。

【参照】Announcing the PyTorch Foundation: A new era for the cutting-edge AI framework
https://ai.facebook.com/blog/pytorch-foundation/

PyTorchとは

2016年1月15日、Metaの人工知能研究グループは、エンド・ツー・エンドのワークフロー用に単一のシンプルな標準化されたインターフェイスを作成することにしました。また、AI分野の煩雑な研究からプロダクションへのパイプラインを修正したいという思いもありました。事実、このパイプラインには迷路のようなもので、複数のステップやツール、断片化されたプロセス、研究用またはプロダクション用に最適化されたさまざまなフレームワーク間のナビゲーションが含まれていましたが、双方に最適化されているものはありませんでした。

そこで、Metaチームは「Theano」や「Torch」などの機械学習(ML)フレームワークと「Lua Torch」「Chainer」「HIPS Autograd」の高度な概念を試しましたが、新しいフレームワークを開発することで「使いやすさ」という点にこだわり続けることにしました。

そしてその2年後、 PyTorch 1.0が公開されます。PyTorch 1.0 は、動的でインタラクティブなフレームワークにより開発者は迅速に検証を行えるだけでなく、グラフベースのモードへシームレスに移行してデプロイができるようになりました。

その努力は報われ、それ以来、PyTorchはAI研究の共通語に成長しました。現在、NeurIPSやICMLなどの主要なMLカンファレンスに論文を提出する研究者の80%以上が、このフレームワークを利用しています。また、彼らは世界の最新のコンピューター ビジョン研究のほとんどを支えているtorchvisionなど、AI 分野のいくつかの主要なドメインをサポートするライブラリを構築しました。

このフレームワークは、MetaのAI研究およびエンジニアリング作業の一部であり続けます。PyTorchはAmazon Web Services、Microsoft Azure、OpenAIほか、多くの企業や研究機関によって構築されたAI研究および製品の基盤となっています。

PyTorch Foundationを設立する理由

PyTorchは、オープンソース、コミュニティ・ファーストという考え方で構築されており、今後も変わることはありません。研究者や開発者がコードをオープンソース化すると世界中の人々が自分の仕事を共有し、互いの進歩から学び、コミュニティに貢献することができます。

PyTorchコミュニティには常に明確な技術的ガバナンス構造があり、コアメンテナーがフレームワークのビジョンを設定し、業界全体で最高のAI研究者とエンジニアがそのモジュールを開発しています。Metaと他の貢献者は機能、モジュール性、およびコード所有権の多様性を拡大するという3年間のビジョンを持っているため、これはフレームワークの将来にとってさらに重要になります。

今後、フレームワークの貢献者は新しいPyTorch Foundationのパートナーにより提供される堅牢なガバナンス、多様なリーダーシップ、追加の投資からさまざまな恩恵を受けることになります。PyTorch Foundationは「オープンであり続けること」「中立的なブランディングを維持すること」「公正であること」「強力な技術的アイデンティティを構築すること」の4つの原則を順守するよう努めることになります。このFoundation の主な優先事項の1つは「PyTorchのビジネスガバナンスと技術ガバナンスを明確に分離すること」です。

なぜ、ディープラーニングなのか

古い話ですが、2012年にILSVRC(ImageNet Large Scale Visual Recognition Challenge)という画像認識のコンペティションが開催されました。このコンペティションはたくさんの画像をコンピュータに分類させてその精度を競うもので、ディープラーニングを活用したトロント大学のHinton教授率いるチーム“SuperVision”が2位以下に圧倒的な差をつけて勝利しました。

また、同年にGoogle社内の研究開発部門であるXLabが、YouTubeにアップロードされている動画からランダムに取り出した200×200ピクセルサイズの画像を1,000万枚用意しました。画像の中には3%前後の画像に人間の顔が含まれており、猫が含まれる画像もたくさんありました。これらの画像を1,000台のコンピュータで3日間かけて学習を行った結果、人間の顔、猫の顔、人間の体の写真を識別できるようになりました。このような事例が出てくることによりディープラーニングの有効性が再認識され、いわゆる「第3次人工知能(AI)ブーム」が始まりました。

現在、活用されているディープラーニングのフレームワークには、PyTorchの他にも下記のようなものがあります。

• TensorFlow
  ・GoogleのGoogle Brainチームによって2015年に開発され、ディープラーニングフレームワークの中で現在最も人気のあるフレームワーク
  【特徴】
  　・C++とPythonで記述されている
  　・ドキュメントが充実
• Keras
  ・Francois Chollet氏(現在はGoogleのエンジニア)を中心として2015年に開発
  ・現在はTensorFlowに取り込まれ、tf.kerasの形で使われるのが一般的
  【特徴】
  　・モデルの構築がとても簡単でわかりやすい
  　・TensorFlow、CNTK、Theanoという複数のバックエンドをサポート
• MXNet
  ・CMU(カーネギーメロン大学)、NYU(ニューヨーク大学)、NUS(シンガポール国立大学)、MIT(マサチューセッツ工科大学)など、様々な大学からの研究者が協力して開発。2016年にAWSによるサポートを発表
  【特徴】
  　・高いスケーラビリティ
  　・Python、R、Scala、JavaScript、C++など多くの言語に対応
• Caffe
  ・Yangqing Jia氏がカリフォルニア大学バークレー校の博士課程在学中に始めたプロジェクトで2017年にリリース
  【特徴】
  　・画像認識などの処理が得意
  　・開発コミュニティが活発
• Microsoft Cognitive Toolkit
  ・Microsoftにより2016年にリリース
  【特徴】
  　・リソース効率が良い
  　・ONNXフォーマット(ディープラーニングモデルを異なるフレームワーク間で交換するためのフォーマット)を初めてサポート

コミュニティ主導のAI研究への取り組み

前述したように、これまでPyTorchはコミュニティ・ファーストの考え方で開発が進められてきましたし、今後も変わることがないようです。

オープン・サイエンスは大規模な言語モデルのコードのリリース、自己監視型コンピューター ビジョン システム、革新的な新しいデータセット、具体化されたAIプラットフォームなど、AIにおける取り組みの中核となります。このアプローチは現実世界のニーズに対応し、インテリジェンスの性質に関する基本的な質問に答える新しいシステムの構築と展開を最速で進められると信じられています。PyTorch Foundationの創設により、AIコミュニティ全体が数えきれないほどの刺激的な新しい方法でこの分野を前進させることができるでしょう。

このように、Foudationを移管することで、特定のブランドとの提携や自由を制限するソフトウェアライセンスなど、制約のあるソフトウェアに依存したくないというテクノロジー企業やオープンソースコミュニティの意向を反映したものと言えるかも知れません。