LLM-jp-3 172B beta2 の公開
研究成果
大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。
このたび、目標学習量の約3分の2にあたる1.4兆トークンを学習したモデル「LLM-jp-3 172B beta2」を指示チューニングを施したモデルとともに公開します。また今回、指示チューニング用に新たに作成した合成データについても公開をしています。
LLM-jpが開発している、既存の日本語言語資源に基づいて横断的な評価を行うフレームワーク「llm-jp-eval v1.4.1」を使用した評価では、指示チューニング済みモデルは 0.547 を達成しました。これは gpt-35-turbo-16k-0613 の 0.538 を上回るスコアとなりました。
モデルやデータの詳細については以下のリンクよりご確認ください。