LLM-jp-3 VILA 14B の公開

研究成果

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強い基盤モデルの開発を進めています。このたび、LLMCで開発された LLM-jp-3 13B をベースに、画像も入力できるように拡張したマルチモーダル基盤モデル LLM-jp-3 VILA 14B を公開いたしました。

このモデルは、大規模言語モデル llm-jp/llm-jp-3-13b-instruct、画像エンコーダ google/siglip-so400m-patch14-384、画像の特徴ベクトルを言語の空間に変換する2層の線形層（プロジェクタ）から構成されています。元々の大規模言語モデルのパラメータに加え、画像エンコーダと線形層のパラメータが追加されているため、約14B（140億）パラメータの基盤モデルとなります。モデルのアーキテクチャの設計では、先行研究である VILA (Lin et al., 2024) を参考にしました。LLMCではマルチモーダル基盤モデルの学習データとして、Common Crawlのウェブページのアーカイブから日本語のテキストと画像のペア・データやインターリーブ・データ（テキスト中の適切な箇所に画像が挿入されたデータ）を新たに開発いたしました。また、マルチモーダル基盤モデルの指示チューニングのため、OpenAI GPT-4oを用いて合成したデータを用いました。

LLMCでは画像言語モデル（VLM; Vision and Language Model）の日本語向け評価ベンチマークであるHeronBench、JA-VLM-Bench-In-the-Wild、JA-VG-VQA-500を用いて構築したモデルの評価を実施しました。その実験結果によると、LLM-jp-3 VILA 14B はパラメータ数が少ないながら、OpenAI GPT-4o に匹敵する性能を示すことが分かりました。なお、この評価実験では、LLMCで開発されている評価基盤 llm-jp-eval-mm を用いました。

LLM-jp-3 VILA 14B のモデル（重み）は Apache License 2.0 で配布していますが、このモデルを利用する際にはOpenAIの利用規約 (Terms of Use) を遵守する必要があります。この両方を遵守する限りは、応用や追加学習などに自由にご利用いただけます。

モデルの詳細については以下のリンク、および論文 (Sasagawa et al., 2024) をご覧ください。

また、このモデルの学習のために新たに構築したデータの詳細については、以下のリンクよりご覧ください。

参考文献