LLM-jp-3 1.8B・3.7B・13B の公開
研究成果
大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。
このたび、LLM-jp-3 172B の事前学習に使用しているコーパスで学習した 1.8B、3.7B、13B の各モデルを公開いたしました。また、インストラクションチューニングを施したモデルも同時に公開しています。
各モデルは日本語・英語・ソースコードを重点的に学習しています。特にLLM-jp-3 13B は、4月に公開した LLM-jp-13B v2.0 と比較して大幅に性能が向上しており、日本語MT-Benchの平均スコアが 3.67 から 6.47 へと改善されています。
これらのモデルは、Apache License 2.0 のもとで提供されています。データや学習過程まで含めて完全にオープンなモデルとして、アプリケーションへの応用や追加学習などに自由にご利用いただけます。
モデルの詳細については以下のリンクよりご確認ください。