約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開

研究成果

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強い大規模言語モデルの開発を進めており、2026年4月には、Dense型の「LLM-jp-4 8B」モデルと、Mixture of Experts（MoE）型の「LLM-jp-4 32B-A3B」モデルを公開しています。

今回、新たに約332億パラメータのDense型モデル「LLM-jp-4 33B」として、2種類のモデルを公開します。公開するのは、事前学習と中間学習までを行ったベースモデル「llm-jp-4-33b-base」と、教師ありファインチューニング（Supervised Fine-Tuning, SFT）および直接選好最適化（Direct Preference Optimization, DPO）による事後学習までを行った事後学習済みモデル「llm-jp-4-33b-thinking」です。

LLM-jpが開発する評価フレームワーク「llm-jp-judge」を用いて、「llm-jp-4-33b-thinking」の性能を評価しました。その結果、日本語MT-Bench、英語MT-Bench、AnswerCarefully、llm-jp-instructionsの4つのベンチマークすべてで、これまでに公開したすべてのLLM-jp-4 Thinkingモデルを上回るスコアを記録しました。

また、モデルの公開に合わせて、「llm-jp-4-33b-thinking」のDPOに使用したデータセットも公開しました。

今回公開するリソースの詳細については、以下のリンクよりご確認ください。

モデル

データセット