Zyphraは10月14日(現地時間)、小規模言語処理モデル「Zamba2-7B」をリリースした。
「Zamba2-7B」は、デバイス上やコンシューマGPU上で実行するための主要モデルであり、かつ自然言語タスク向けのコンパクトで効率的なモデルを必要とするエンタープライズアプリケーションにも適した言語モデル。「Transformer」アーキテクチャと「Mamba」アーキテクチャのハイブリッドとして構成されている。
「Zamba2-7B」では、推論効率が向上しており、Llama3-8Bなどのモデルと比較して、最初のトークンまでの時間が25% 高速化され、1秒あたりのトークン数が20% 向上し、メモリ使用量が大幅に削減された。また、「Mamba1」ブロックは「Mamba2」ブロックに置き換えられている。
「Zamba2-7B」は、「Apache 2.0 License」の下で公開されている。
Zamba2-7B
「Zamba2-7B」は、デバイス上やコンシューマGPU上で実行するための主要モデルであり、かつ自然言語タスク向けのコンパクトで効率的なモデルを必要とするエンタープライズアプリケーションにも適した言語モデル。「Transformer」アーキテクチャと「Mamba」アーキテクチャのハイブリッドとして構成されている。
「Zamba2-7B」では、推論効率が向上しており、Llama3-8Bなどのモデルと比較して、最初のトークンまでの時間が25% 高速化され、1秒あたりのトークン数が20% 向上し、メモリ使用量が大幅に削減された。また、「Mamba1」ブロックは「Mamba2」ブロックに置き換えられている。
「Zamba2-7B」は、「Apache 2.0 License」の下で公開されている。
(川原 龍人/びぎねっと)
[関連リンク]Zamba2-7B
この記事の筆者
筆者の人気記事
Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。
