Technology Innovation Institute、オープンソースの大規模言語モデル「Falcon」をリリース

「Technology Innovation Institute」は6月5日(現地時間)、オープンソースの大規模言語モデル「Falcon」をリリースした。

公開されているモデルは、400億個のパラメータを有する「Falcon-40B」、および70億個のパラメータを有する「Falcon-7B」モデル。いずれも、事前学習を終えており、利用する前にファインチューニングを行う必要があるという。「Falcon」はトレーニングに用いたデータによって高品質が保たれている。Webから収集した大規模データセット「RefinedWeb」に対し重複排除、フィルタリングを行ってあるという。

「Falcon」は、機械学習データ共有サイト「Hugging Face」にてモデルが公開されている。

(川原 龍人/びぎねっと)

[関連リンク]
Blogによる記事