LLM-jp-3 シリーズ instruct2, 3 の公開

研究成果

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強い大規模言語モデルの開発を進めており、2024年9月以降 llm-jp-corpus v3 を用いて訓練した「LLM-jp-3」シリーズの公開を進めてきました。これまでに 1.8B、3.7B、13B、172B パラメータのモデルを公開しています。

今回、同じ事前学習コーパスで訓練した 150M、440M、980M、7.2B パラメータのベースモデルを新たに公開します。さらに、既に公開している 1.8B、3.7B、13B モデルを含む、LLM-jp-3 シリーズの全ベースモデルに対して、 Supervised Fine-Tuning を適用した「instruct2」モデルと、加えて Direct Preference Optimization を適用した「instruct3」モデルを公開します。

「instruct2」は1.8B、3.7B、13B で採用していた「instruct」よりも有用性が向上しています。また、「instruct3」は「instruct2」の有用性をほぼ保ちつつも安全性が大幅に強化されています。

今回のモデル公開によって同一の事前学習およびチューニングデータで訓練した 150M、440M、980M、1.8B、3.7B、7.2B、13B、172B の計8種のパラメータ違いのモデルが揃います。

さらにモデルの公開に合わせて、チューニングに使用したデータセット、コードも公開しました。また、「instruct2」と「instruct3」の概要や各モデルの評価結果を紹介するテックブログもあわせて公開しました。

llm-jp/llm-jp-3-172b-instruct2 は llm-jp/llm-jp-3-172b と同様のライセンスでの公開となりますが、13B以下のパラメータのモデルについてはすべて Apache License 2.0  のもとで提供されています。データや学習過程まで含めて完全にオープンなモデルとして、アプリケーションへの応用や追加学習などに自由にご利用いただけます。

今回公開するリソースの詳細については以下のリンクよりご確認ください。

  • モデル

　　・ベースモデル
　　　　・llm-jp/llm-jp-3-150m
　　　　・llm-jp/llm-jp-3-440m
　　　　・llm-jp/llm-jp-3-980m
　　　　・llm-jp/llm-jp-3-7.2b

　　・チューニング済みモデル
　　　　・llm-jp/llm-jp-3-150m-instruct2
　　　　・llm-jp/llm-jp-3-150m-instruct3
　　　　・llm-jp/llm-jp-3-440m-instruct2
　　　　・llm-jp/llm-jp-3-440m-instruct3
　　　　・llm-jp/llm-jp-3-980m-instruct2
　　　　・llm-jp/llm-jp-3-980m-instruct3
　　　　・llm-jp/llm-jp-3-1.8b-instruct2
　　　　・llm-jp/llm-jp-3-1.8b-instruct3
　　　　・llm-jp/llm-jp-3-3.7b-instruct2
　　　　・llm-jp/llm-jp-3-3.7b-instruct3
　　　　・llm-jp/llm-jp-3-7.2b-instruct
　　　　・llm-jp/llm-jp-3-7.2b-instruct2
　　　　・llm-jp/llm-jp-3-7.2b-instruct3
　　　　・llm-jp/llm-jp-3-13b-instruct2
　　　　・llm-jp/llm-jp-3-13b-instruct3
　　　　・llm-jp/llm-jp-3-172b-instruct2

  • データ

　　・SFT用データセット
　　　　・llm-jp/wizardlm8x22b-logical-math-coding-sft-ja
　　　　・llm-jp/FLAN
　　　　・llm-jp/Synthetic-JP-EN-Coding-Dataset
　　　　・llm-jp/AnswerCarefully

　　・DPO用データセット
　　　　・llm-jp/aya-ja-evol-inst
　　　　・llm-jp/ac-self-inst

  • コード

　　・llm-jp/instruct3