発表タイトル / Title

オープンな日本語大規模言語モデル開発のためのコーパス構築

Corpus Construction for Open Japanese Large Language Models

講演概要 / Abstract

透明性・信頼性の高い大規模言語モデル(LLM)を実現するためには、モデルや学習コーパス、開発過程をオープンにし、多くの研究者や開発者が利用・検証できる環境を整えることが重要である。特に、オープンな日本語大規模言語モデルの開発を進めるためには、その基盤となる大規模かつ高品質な日本語コーパスを整備し、可能な範囲で共有することが不可欠である。我々はLLM-jpにおいて、ウェブクロールデータ、Wikipedia、科研費研究課題概要、特許文書、法律文書、国会議事録など、様々な言語資源からテキストを収集し、日本語テキストの抽出、フィルタリング、重複除去などを行うことで、事前学習コーパスを構築してきた。構築したコーパスはLLM-jpモデルの学習に利用するとともに、可能な範囲で一般に公開している。本講演では、これまでのコーパス構築において直面した課題や解決策を紹介するとともに、オープンなLLM開発を支える今後のコーパス開拓の方向性について議論する。

To develop transparent and reliable large language models (LLMs), it is important to make models, training corpora, and development processes open and to establish an environment in which they can be used and examined by a broad community of researchers and developers. In particular, advancing the development of open Japanese LLMs requires the construction of large-scale, high-quality Japanese corpora as their foundation and their sharing to the extent possible. In LLM-jp, we have been constructing pre-training corpora by collecting text from a variety of language resources, including web crawl data, Wikipedia, abstracts of KAKEN research projects, patent documents, legal documents, and minutes of the National Diet, and by applying processes such as Japanese text extraction, filtering, and deduplication. The resulting corpora are used to train LLM-jp models and are also made publicly available whenever possible. In this talk, I will present the challenges we have encountered in corpus construction and the solutions we have developed, and discuss future directions for expanding corpus resources to support the development of open LLMs.

略歴 / Biography

2002年京都大学大学院博士課程単位取得認定退学。2005年同修了。博士(情報学)。東京大学大学院情報理工学系研究科学術研究支援員、情報通信研究機構主任研究員、京都大学大学院情報学研究科准教授を経て、2020年より早稲田大学理工学術院教授。専門は知識獲得、言語理解評価を中心とする自然言語処理。

Daisuke Kawahara received his Ph.D. in Informatics from Kyoto University in 2005, after completing the doctoral program requirements in 2002. He was a research associate at the Graduate School of Information Science and Technology, the University of Tokyo, a Senior Researcher at the National Institute of Information and Communications Technology (NICT), and an associate professor at the Graduate School of Informatics, Kyoto University. Since 2020, he has been a professor at the Faculty of Science and Engineering, Waseda University. His research interests include natural language processing, particularly knowledge acquisition and language understanding evaluation.

発表タイトル / Title

大規模言語モデル構築の取り組み

Large Language Model Development at LLMC

講演概要 / Abstract

LLMCの活動成果として、この一年間にllm-jp-4や、その改良版であるllm-jp-4.1などの大規模言語モデルを順次公開してきた。本講演では、これらのモデルがどのような設計方針のもとで構築され、モデル構築の各段階をどのような考えで実施したかを概説する。あわせて、現在の最新公開モデルに至るまでに施した主な改良点と、その背景にある課題や、実際のモデル開発を通じて得られた知見について発表時間の許す範囲で具体例を交えて説明する。さらに、これまでの成果を踏まえ、今後のLLMCにおけるモデル構築の方向性や、次世代モデルに向けた展望についても述べる。

As part of LLMC’s work, over the past year we have released a series of large language models, including llm-jp-4 and its improved version, llm-jp-4.1. In this talk, I will provide an overview of the design principles behind these models and discuss the key considerations and decisions at each stage of their development. I will also describe the major improvements made in the process of developing our latest publicly available model, the challenges that motivated these improvements, and the insights gained through model development, with concrete examples as time permits. Finally, building on these results, I will discuss the future directions of model development at LLMC and our outlook for the next generation of large language models.

略歴 / Biography

2001年から2018年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員（特別研究員）。2018年より東北大学大学院情報科学研究科准教授、2020年より同大学データ駆動科学・AI教育研究センター教授．2020年から2022年までGoogle LLC Visiting Researcher（クロスアポイントメント）。2023年、言語AI研究センター新設とともにセンター長に就任（現職）。博士（工学）。

Jun Suzuki is a professor at Tohoku University and, since 2023, director of its Language AI Research Center. He joined Tohoku University in 2018 as an associate professor in the Graduate School of Information Sciences and became a professor at the Data-Driven Science and AI Education and Research Center in 2020. From 2020 to 2022, he held a cross-appointment as a visiting researcher at Google. Earlier, from 2001 to 2018, he was a researcher and later a distinguished researcher at NTT Communication Science Laboratories. He holds a Ph.D. in Engineering.

発表タイトル / Title

LLM-jp モデルの事後学習と評価

Post-training and Evaluation of LLM-jp Models

講演概要 / Abstract

本講演では、LLM-jpプロジェクトにおける評価・チューニングWGの活動と成果について報告する。現在の大規模言語モデルは数学やコーディング、高度な専門知識が必要な問題など高難易度ベンチマークで評価されることが一般的だが、一方で日本語に強い大規模言語モデルを目指すLLM-jpモデルには、日本語やその文化的背景に関する性能も求められる。これらを両立するためのLLM-jpプロジェクトにおける事後学習と評価に関する取り組みを紹介し、今後の展開について議論したい。

This talk reports the activities and outcomes of the Evaluation and Finetuning Working Group in the LLM-jp project. Modern large language models are commonly evaluated on challenging benchmarks such as mathematics, coding, and problems that require advanced expert knowledge. LLM-jp models, however, also aim to excel in Japanese capabilities, and are expected to perform well on the Japanese language and its cultural background. We introduce our efforts on post-training and evaluation in the LLM-jp project to achieve both of these goals, and discuss future directions.

略歴 / Biography

2000年東京大学大学院理学系研究科修士課程修了。2001年より同大学にて助手、2007年より助教。2006年同大学大学院にて博士号 （情報理工学）取得。2010年より国立情報学研究所准教授、2018年より東京大学教授。構文解析、意味解析などの自然言語処理基盤技術とその応用の研究に従事。

Yusuke Miyao received his Ph.D. from the University of Tokyo in 2006. He has been Assistant Professor at the University of Tokyo from 2001 to 2010, Associate Professor at National Institute of Informatics since 2010, and Professor at the University of Tokyo from 2018. He has been engaged in research on natural language processing, in particular on syntactic parsing and its applications.

発表タイトル / Title

視覚言語モデルLLM-jp-4-VLの構築

Building the Vision-Language Model LLM-jp-4-VL

講演概要 / Abstract

LLM-jp-4-VL 9Bは、国産大規模言語モデル llm-jp-4-8b-thinking を基盤として、画像を理解し、日本語で推論・応答できるように拡張した約9Bパラメータの視覚言語モデル（VLM）です。その開発では、モデルそのものだけでなく、日本語のVLMを支える学習データと評価基盤の整備にも取り組みました。学習データとして、画像・テキスト対やPDF文書など多様な情報源から構築した約915万事例の日本語マルチモーダルデータセット Jagle を開発しました。また、既存の大規模英語データセット FineVisionについて、ライセンス・利用規約や画像・QAの品質を精査し、問題のあるデータの除去やQAの再生成を行うことで、約1,197万事例からなる RefinedVision を新たに構築しました。さらに、視覚言語モデルを信頼性高く比較するため、日本語ベンチマークを人手で精緻化した JAMMEval や評価フレームワーク simple-evals-mm の整備も進めています。本講演では、LLM-jp-4-VL 9B のモデル設計と学習方法を紹介します。

LLM-jp-4-VL 9B is a Vision-Language Model (VLM) with approximately 9 billion parameters, built on the Japanese Large Language Model llm-jp-4-8b-thinking and extended to understand images and perform reasoning and response generation in Japanese. In developing the model, we focused not only on the model itself but also on building the training data and evaluation infrastructure necessary to support Japanese VLMs. For training, we developed Jagle, a Japanese multimodal dataset consisting of approximately 9.15 million examples collected from diverse sources, including image-text pairs and PDF documents. We also constructed RefinedVision, a dataset of approximately 11.97 million examples, by carefully reviewing the licenses and terms of use of the existing large-scale English dataset FineVision, as well as the quality of its images and question-answer pairs, and by removing problematic data and regenerating QA pairs where necessary. In addition, we are developing JAMMEval, a manually refined Japanese benchmark, and the simple-evals-mm evaluation framework to enable reliable comparison of vision-language models. In this talk, I will present the model architecture and training methodology of LLM-jp-4-VL 9B.

略歴 / Biography

東京科学大学（旧・東京工業大学、改称）情報理工学院 教授

2007年東京大学大学院情報理工学系研究科博士課程修了。博士（情報理工学）。東京大学大学院情報理工学系研究科・特任研究員、東北大学大学院情報科学研究科准教授を経て、2017年8月より現職。自然言語処理の研究に従事。元言語処理学会理事、日本ディープラーニング協会（JDLA）理事。平成28年度科学技術分野の文部科学大臣表彰若手科学者賞、第15回船井学術賞、2016年度マイクロソフト情報学研究賞などを受賞。

Naoaki Okazaki, currently a professor at the School of Computing, Institute of Science Tokyo, earned his PhD in 2007 from the Graduate School of Information Science and Technology at the University of Tokyo. His early post-doctoral career included a research position at the same institution. Subsequently, he became an associate professor at the Graduate School of Information Sciences at Tohoku University. He specializes in Natural Language Processing and Artificial Intelligence. His career is marked by numerous awards, such as the Young Scientists’ Prize, the Commendation for Science and Technology by the Minister of Education, Culture, Sports, Science and Technology. In addition, he was honored with the 2016 Microsoft Research Award on Information Processing.

発表タイトル / Title

実環境におけるロボット基盤モデルの構築：動画からの行動抽出と少数データ模倣学習

Advancing Robot Foundation Models: Video-Based Trajectory Extraction and Data-Efficient Imitation Learning

講演概要 / Abstract

実環境インタラクションWGは大規模言語モデル・基盤モデルに実世界において知的な動作を行わせるために研究に取り組んでいる．特に動画からの動作抽出を利用したロボット基盤モデル作成とロボット基盤モデルのアーキテクチャ探索を行い，以下の2件の発表を行う．

(1) 人間の日常行動を記録した一人称視点動画から物体操作の 6DoF 軌跡を自動抽出し，大規模な事前学習データとして Vision-Language-Action (VLA) モデルの学習に活用する枠組みを提案した．実ロボットデータのみを用いる学習と比較し，作業映像由来のデータがロボット操作学習に有効であり，実ロボットデータに匹敵する学習効果を持つことを示した．

(2) 少数の実演データでも高性能なロボット模倣学習を実現するHybrid-ACTを提案した．ベクトル量子化とクロスアテンションにより視覚・状態・行動の特徴を効果的に統合し，VQ Cross-Attentionによる少数デモンストレーション環境下で複数の操作タスクで従来手法を上回る性能と高いデータ効率を示した．

The Real-World Interaction Working Group investigates methods for enabling Large Language Models (LLMs) and foundation models to perform intelligent actions in real-world environments. Their focus centers on leveraging video-based action extraction to build robot foundation models and exploring optimal model architectures. At this event, the group presents two key studies:

1. 6DoF Trajectory Extraction for VLA Models

The team proposes a framework that automatically extracts 6DoF object manipulation trajectories from first-person videos of daily human activities. Utilizing this extracted data as large-scale pre-training data for Vision-Language-Action (VLA) models, the study demonstrates that human video-derived data is highly effective for robot manipulation training, achieving learning efficacy comparable to training on real-robot data alone.

2. Hybrid-ACT for Data-Efficient Imitation Learning

The group introduces Hybrid-ACT, an architecture designed for high-performance robot imitation learning using minimal demonstration data. By integrating visual, state, and action features through vector quantization and cross-attention, Hybrid-ACT outperforms conventional baseline methods across multiple manipulation tasks and exhibits superior data efficiency under low-demonstration regimes.

略歴 / Biography

1993年早稲田大学理工学部機械工学科卒業、1997年日本学術振興会特別研究員（DC2）、1999年早稲田大学理工学部助手、2001年理化学研究所脳科学総合研究センター研究員、2003年京都大学大学院情報学研究科講師、2005年同准教授を経て、2012年より早稲田大学理工学術院基幹理工学部表現工学科教授。博士（工学）。2009年-2015年JSTさきがけ領域研究員。また2017年より産業総合技術研究所人工知能研究センター特定フェロー。2013年から2014年日本ロボット学会理事。2016年から2018年人工知能学会理事などを歴任。2020年より早稲田大学次世代ロボット研究機構AIロボット研究所所長。2024年より国立情報学研究所大規模言語モデル研究開発センター客員教授。2025年よりAIロボット協会理事長。2025年よりJST CREST「実環境知能システム」領域研究総括。2021年IEEE ICRA2021 Best Paper Award In Cognitive Science、2023年文部科学大臣表彰科学技術賞（研究部門）などを受賞。

Tetsuya Ogata received the B.S., M.S., and D.E. degrees in mechanical engineering from Waseda University, Tokyo, Japan, in 1993, 1995, and 2000, respectively. He was a Research Associate with Waseda University from 1999 to 2001. From 2001 to 2003, he was a Research Scientist with the RIKEN Brain Science Institute, Saitama, Japan. From 2003 to 2012, he was an Associate Professor at the Graduate School of Informatics, Kyoto University, Kyoto, Japan. Since 2012, he has been a Professor with the Faculty of Science and Engineering at Waseda University. From 2009 to 2015, he was a JST (Japan Science and Technology Agency) PREST Researcher. Since 2017, he has been a Joint-appointed Fellow with the Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology, Tokyo, and a visiting professor with the Research and Development Center for Large Language Models, National Institute of Informatics (NII). He has been the director of the Institute of AI and Robotics at Waseda University since 2020, the chairperson of the AI Robot Association (AIRoA), and the Research supervisor of JST CREST “Fundamentals and Core Technologies for Embodied AI” since 2025.

発表タイトル / Title

日本語音声対話モデルの構築と対話データの収集

Development of Japanese Spoken Dialogue Models and Collection of Dialogue Data

講演概要 / Abstract

LLM-jpの対話WGでは，話しながら聞くという双方向性を備えた日本語音声対話モデルの実現を目指し，対話データの収集・整備とモデル開発を進めてきた．透明性の確保を重視しながら，音声対話モデルの開発を段階的に進めるとともに，対話システムにおいて重要となるTheory of Mind（心の理論）の評価ベンチマークの構築にも取り組んでいる．本講演では，今年度リリースしたモデルとその後の改善状況を中心に，公開済みおよび公開予定の音声・言語データについて紹介する．

The Dialogue Working Group of LLM-jp has been working toward the development of Japanese spoken dialogue models with full-duplex interaction capabilities, enabling systems to listen while speaking. Our efforts have included both the collection and preparation of dialogue data and the step-by-step development of spoken dialogue models, with an emphasis on transparency. In parallel, we have also been developing a benchmark for evaluating Theory of Mind, which is an important capability for dialogue systems. In this talk, I will introduce the models released this fiscal year and their subsequent improvements, as well as spoken and language data that have already been released or are planned for release.

略歴 / Biography

2001年慶應義塾大学大学院政策・メディア研究科博士前期課程，2008年博士後期課程修了．2001年日本電信電話株式会社入社．2020年より，名古屋大学大学院情報学研究科教授．対話システムの研究に従事．博士（学術）．

Ryuichiro Higashinaka completed his Master’s program at the Graduate School of Media and Governance, Keio University in 2001, and completed his Doctoral program and received his Ph.D. in 2008. He joined NTT in 2001. Since 2020, he has been a Professor at the Graduate School of Informatics, Nagoya University. He is engaged in research on dialogue systems.

発表タイトル / Title

調整中 / To be announced

講演概要 / Abstract

調整中 / To be announced

略歴 / Biography

調整中 / To be announced

発表タイトル / Title

NII-LLMCでのAI安全性研究

AI Safety Research at NII/LLMC

講演概要 / Abstract

NII-LLMCで行っているAI安全性研究を紹介致します。日本語の代表的なAI安全性のデーターであるAnswerCarefullyのアップデートを行いました。これには、多言語・多文化対応、地域特異性などが含まれています。他にも、マルチモーダルに対する代表的な安全性評価データであるMSTSの日本語版、Xから抽出した偽情報・誤情報のデータの拡張、判例を基にしたバイアスの具体例を集めたバイアスデータ、危険な物質などの情報を集め質問の形にまとめたCBRNEのデータなどのご紹介を致します。また、上記のデータを含む安全性ベンチマークデータに対して、様々なAIモデルを評価致しました。そのご紹介も致します。最後に、日本AISIなどと協力して推進しているコミュニティーベースで幅広いAI安全性の分野に対応したJAI-Trustプロジェクトのご紹介を行います。

I would like to introduce the AI safety research being conducted at NII-LLMC. We have updated “AnswerCarefully,” a prominent Japanese dataset for AI safety; this update incorporates multilingual and multicultural support, as well as regionally sensitive considerations. We will also present other resources, such as the Japanese version of MSTS (a key safety evaluation dataset for multimodal models), an expanded dataset of misinformation and disinformation sourced from X, a bias dataset compiling concrete examples based on legal precedents, and a CBRNE dataset that structures information on hazardous substances into a question-and-answer format. Furthermore, we will share the results of evaluating various AI models using these safety benchmark datasets. Finally, I will introduce the JAI-Trust project – a community-driven initiative advancing AI safety across a broad spectrum of areas in collaboration with the Japan AISI and many other organizations.

略歴 / Biography

1992年英国マンチェスター大学計算言語学部修士号。1998年ニューヨーク大学コンピューターサイエンス学部博士号。ニューヨーク大学研究准教授の他、パナソニック、SONY、楽天、理化学研究所AIPなどでの研究職を歴任。専門は自然言語処理。特に知識構築、情報抽出、固有表現抽出、LLMのためのデータ構築、AIの安全性の研究に従事。現在は国立情報学研究所大規模言語モデル研究開発センター特任教授。日本AISI副所長を兼任。

Prof. Sekine received MSc in Computational Linguistics from the University of Manchester in the UK in 1992 and a PhD in Computer Science from New York University in 1998. In addition to being a research associate professor at New York University, he has held research positions at Panasonic, Sony, Rakuten, and RIKEN AIP, among others. His specialty is natural language processing, with a particular focus on knowledge construction, information extraction, data construction for LLM, AI safety and so on. He is currently a project professor at NII/LLMC. He also serves as a deputy director at Japan AISI, as well as technical advisor to several companies.

発表タイトル / Title

大規模言語モデルの原理解明から制御へ

Interpreting and Steering Large Language Models

講演概要 / Abstract

本発表では、大規模言語モデルの原理解明と制御について概観します。具体的には、近年のAnthropicの研究やOpenAIのインシデントを紹介した上で、安全性・信頼性を確保するためには、大規模言語モデルの「原理解明」だけで無く「制御」が重要になることを述べ、それと関連する原理解明WGの成果を報告します。

In this talk, I will review a new trend interpreting and steering large language models (LLMs). Specifically, after introducing recent research and incidents of Anthropic and OpenAI, I will argue that not only “interpreting” but also “steering” of LLMs will be important to ensure safety and reliability of LLMs, and highlight related research of the “Principles Elucidation” WG.

略歴 / Biography

東京大学大学院総合文化研究科准教授、国立情報学研究所大規模言語モデル研究開発センター特任研究員。2012~2013年にマサチューセッツ大学アマースト校言語学科で訪問学生、2013~2018年にニューヨーク大学言語学科でPh.D.を取得。2018~2020年に早稲田大学理工学術院助教、2020~2024年に東京大学大学院総合文化研究科講師を経て、2024年から現職。計算言語学、認知科学の研究に従事。

Yohei Oseki is an Associate Professor in the Department of Language and Information Sciences at the University of Tokyo, and a Project Researcher in the Research and Development Center for Large Language Models at the National Institute of Informatics (NII). Before joining the University of Tokyo, he was an Assistant Professor in the Faculty of Science and Engineering at Waseda University in 2018~2020, and received a Ph.D. from New York University in 2013~2018 and visited the University of Massachusetts Amherst in 2012~2013. His research integrates computational linguistics with cognitive sciences.