研究成果

LLM-jp-3 172B: オープンかつ日本語に強いGPT-3級大規模言語モデル

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。このページでは、本モデルの最新の開発状況について継続的にアップデー […]

LLM-jp-3 172B beta2 の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、目標学習量の約3分の2にあたる1.4兆トークンを学習した […]

LLM-jp-3 172B alpha1, alpha2 の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、同モデルの開発の初期段階で得られた、学習設定の問題（※） […]

LLM-jp-3 1.8B・3.7B・13B の公開

大規模言語モデル研究開発センター（LLMC）ではオープンかつ日本語に強いGPT-3級大規模言語モデル「LLM-jp-3 172B」の開発を進めています。 このたび、LLM-jp-3 172B の事前学習に使用しているコー […]

約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開～学習データを含めすべてオープンにしたモデルとしては世界最大～