llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開 

お知らせ

大規模言語モデル研究開発センター（LLMC）は、国産モデルllm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開しました。 

2026年4月に公開したLLM-jp-4-VL 9B betaでは、マルチモーダル化のための学習データとして英語の大規模マルチモーダルデータセットFineVisionを使用していました。しかし、FineVisionには、利用規約などの観点からオープンソースAIの定義を満たす基盤モデルの開発に懸念のあるデータが一部含まれていました。

この問題に対応するため、FineVisionの各サブセットについてライセンスおよび利用規約を精査し、問題のあるデータを削除・修正しました。この過程で構築されたデータセットを「RefinedVision」として公開します。

LLM-jp-4-VL 9Bでは、FineVisionの見直しに加えて、以下のような改良を加えました。

  • ベースとなる言語モデルをllm-jp-4-8b-instructから、深い推論を行えるllm-jp-4-8b-thinkingに変更しました。
  • 学習データには、Jagle、RefinedVisionに加えて、テキストのみのllm-jp-4-thinking-sft-data、NVIDIA社による推論過程付きマルチモーダルデータNemotron-Image-Training-v3を使用しました。視覚言語モデル構築のための学習データの総量は約2,930万件です。

LLM-jpが開発する評価フレームワーク「simple-evals-mm」を用いた評価では、LLM-jp-4-VL 9Bはbeta版と比較して、GPQAなどのテキストのみのタスクや、CharXiv Reasoning、HakushoBenchなどの高難易度図表理解タスクで性能が向上しました。 

一方で、Qwen3.5-9Bと比較すると多くのタスクで性能差があることが判明し、LLM-jp-4-VL 9Bの課題も明らかになりました。今後は、推論データの改良などを通じて、さらなる性能向上を目指します。

今回公開するLLM-jp-4-VL 9B、RefinedVision、およびv0.3.0にアップデートした評価フレームワークsimple-evals-mmは、以下から利用できます。