LLM-jp-3.1 シリーズ instruct4 の公開
研究成果
大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強い大規模言語モデルの開発を進めており，2024年9月以降 llm-jp-corpus v3 を用いて訓練した「LLM-jp-3」シリーズの公開を進めてきました．これまでに 150M，440M，980M，1.8B，3.7B，7.2B，13B，172B の8種の dense モデルと8×1.8B，8x13Bの2種の MoE モデルを公開しています．
今回，新たに「LLM-jp-3.1」シリーズを公開します．本シリーズでは，継続事前学習の追加および事後学習の改善により，指示追従性を大幅に向上させています．
llm-jp-3.1-1.8b-instruct4 の日本語MT-Bench のスコアは 6.30 で，前世代の llm-jp-3-1.8b-instruct3 の 4.64 を大きく上回り，llm-jp-3-13b-instruct3 の 6.21 をも上回るスコアとなっています． 中規模モデルの llm-jp-3.1-13b-instruct4 では同程度のパラメータ数を持つ Qwen2.5-14B-Instruct のスコアを上回りました． さらに，フラグシップである llm-jp-3.1-8x13b-instruct4（総パラメータ73B，アクティブパラメータ22B）は gpt-4-0613 を上回る性能を達成しています．
さらにモデルの公開に合わせて，LLM-jp-3.1 の継続事前学習と事後学習の概要や各モデルの評価結果を紹介するテックブログと，事後学習に使用したデータセットを公開しました．
今回公開するリソースの詳細については以下のリンクよりご確認ください．