Zyphra、小規模言語モデル「Zamba2-7B」をリリース

　Zyphraは10月14日(現地時間)、小規模言語処理モデル「Zamba2-7B」をリリースした。

　「Zamba2-7B」は、デバイス上やコンシューマGPU上で実行するための主要モデルであり、かつ自然言語タスク向けのコンパクトで効率的なモデルを必要とするエンタープライズアプリケーションにも適した言語モデル。「Transformer」アーキテクチャと「Mamba」アーキテクチャのハイブリッドとして構成されている。

　「Zamba2-7B」では、推論効率が向上しており、Llama3-8Bなどのモデルと比較して、最初のトークンまでの時間が25% 高速化され、1秒あたりのトークン数が20% 向上し、メモリ使用量が大幅に削減された。また、「Mamba1」ブロックは「Mamba2」ブロックに置き換えられている。

　「Zamba2-7B」は、「Apache 2.0 License」の下で公開されている。

(川原 龍人/びぎねっと)

[関連リンク]
Zamba2-7B