LLM-jp-3.1 シリーズ 32K長文脈対応モデル 公開
研究成果
大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強い大規模言語モデルの開発を進めており，2024年9月以降 llm-jp-corpus v3 を用いて訓練した「LLM-jp-3」シリーズを公開してきました。さらに2025年5月には、継続事前学習や事後学習の改善により指示追従性を大幅に向上させた「LLM-jp-3.1」シリーズを公開しています。
今回、新たにLLM-jp-3.1シリーズのフラグシップモデルである llm-jp-3.1-8x13b の長文脈対応モデルを公開します。本モデルでは、従来のLLM-jp-3.1シリーズからの追加学習により、最大文脈長を従来の4,096トークンから32,768トークンに拡張しました。これにより、長文ドキュメントの読解や、長期にわたる対話、検索拡張生成（RAG）における複数文書の参照など、長大な入力情報の処理を要する応用が可能になりました。
日本語および英語の各種ベンチマークにおいて、従来の LLM-jp-3.1 と同等の回答精度をほぼ維持しながら、長文脈入力への対応を実現しました。
今回公開するモデルの詳細については以下のリンクよりご確認ください．