Apache HadoopでTensorFlowを動作させる「TensorFlow on YARN(TonY)」リリース

2018年9月20日(木)

 LinkedIn開発グループは9月12日(現地時間)、Apache Hadoop上でTensorFlowを動作させる「TensorFlow on YARN(TonY)」をリリースした。

 「TensorFlow on YARN(TonY)」は、Apache Hadoo上で分散型機械学習を運用するために開発されたフレームワーク。「TonY」では、リソース・ネゴシエーションやコンテナ構築などのタスク処理を通じてTensorFlowのジョブをできるだけ扱いやすくすることを目指している。TonYは、YARNのリソース管理とジョブスケジューリング機構を応用して、TensorFlowのジョブをHadoopクラスタに割り当てる。また、スケジューリングや、種類に応じたリソース要求(GPU・CPU)の機能を持つほか、TensorFlowのノードに対するメモリー割り当てを変え、ジョブの出力を定期的に保存して、クラッシュや中断が発生した場合でも再開できる。

 TonYはGitHubより入手できる。ライセンスは2条項BSDライセンス。

(川原 龍人/びぎねっと)

[関連リンク]
GitHub

※本ニュース記事はびぎねっとITニュースから提供を受けて配信しています。
転載元はこちらをご覧ください。

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る