Achievements

Achievements category list

Scrollable horizontally.

公開しているモデル・コーパス・ツールModels, Corpus, and Tools

https://llm-jp.nii.ac.jp/release/in Japanese

https://llm-jp.nii.ac.jp/en/release/in English

学術雑誌論文Journal Papers

国際会議論文International Conference Papers

1. Yikun Sun, Zhen Wan, Nobuhiro Ueda, Sakiko Yahata, Fei Cheng, Chenhui Chu, Sadao Kurohashi, “Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese”, LREC-COLING 2024,　May 2024
   in Englishpeer-reviewedlink
2. Hirokazu Kiyomaru, Issa Sugiura, Daisuke Kawahara, Sadao Kurohashi, “A Comprehensive Analysis of Memorization in Large Language Models”, INLG 2024, September 2024
   in Englishpeer-reviewed
3. Yuko Nakagi, Takuya Matsuyama, Naoko Koide-Majima, Hiroto Q. Yamaguchi, Rieko Kubo, Shinji Nishimoto, Yu Takagi, “Unveiling Multi-level and Multi-modal Semantic Representations in the Human Brain using Large Language Models”, EMNLP 2024 (Long, Main conference), Nov 2024
   in English peer-reviewed
4. Yuko Nakagi, Takuya Matsuyama, Naoko Koide-Majima, Hiroto Q. Yamaguchi, Rieko Kubo, Shinji Nishimoto, Yu Takagi, “Unveiling Multi-level and Multi-modal Semantic Representations in the Human Brain using Large Language Models”, EMNLP 2024 (Long, Main conference), November 2024
   in English peer-reviewed

ワークショップ論文Work Shop Papers

1. Rintaro Enomoto, Arseny Tolmachev, Takuro Niitsuma, Shuhei Kurita, Daisuke Kawahara, “Investigating Web Corpus Filtering Methods for Language Model Development in Japanese”, NAACL 2024 Student Research Workshop, P154-160, June 2024
   in English peer-reviewedlink
   
2. Hao Wang, Shuhei Kurita, Shuichiro Shimizu, Daisuke Kawahara, “SlideAVSR: A Dataset of Paper Explanation Videos for Audio-Visual Speech Recognition”, the 3rd Workshop on Advances in Language and Vision Research (ALVR), P129-137, August 2024
   in English peer-reviewedlink
3. Nguyen Tan Minh, Duy Ngoc Mai, Le Xuan Bach, Nguyen Huu Dung, Pham Cong Minh, Ha Thanh Nguyen, Thi Hai Yen Vuong, “Enhancing Legal Violation Identification with LLMs and Deep Learning Techniques: Achievements in the LegalLens 2024 Competition”, EMNLP 2024 (NLLP), November 2024
   in English peer-reviewed
4. Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, Satoshi Sekine, “Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance”, EMNLP 2024 Workshop SiCon, November 2024
   in English peer-reviewedlink
5. Nguyen Ha Thanh, Ken Satoh, “KRAG Framework for Enhancing LLMs in the Legal Domain”, KR 2024(NeLaMKRR), November 2024
   in English peer-reviewed
6. Wachara Fungwacharakorn, Nguyen Ha Thanh, May Myo Zin, Ken Satoh, “Layer-of-Thoughts Prompting (LoT): Leveraging LLM-Based Retrieval with Constraint Hierarchies”, NeLaMKRR@KR, November 2024
   in English peer-reviewed
7. Hai-Long Nguyen, Tan-Minh Nguyen, Duc-Minh Nguyen, Thi-Hai-Yen Vuong, Ha-Thanh Nguyen, Xuan-Hieu Phan, Ken Satoh, “Exploiting LLMs’ Reasoning Capability to Infer Implicit Concepts in Legal Information Retrieval”, NeLaMKRR@KR, November 2024
   in English peer-reviewed
   

講演会・学会発表Conference Papers

1. Namgi Han, 植田暢大, 大嶽匡俊, 勝又智, 鎌田啓輔, 清丸寛一, 児玉貴志, 菅原朔, Bowen Chen, 松田寛, 宮尾祐介, 村脇有吾, 劉弘毅, “llm-jp-eval: 日本語大規模言語モデルの自動評価ツール”, 言語処理学会第30回年次大会, P2085-2089, 2024年3月
   in JapaneseLink
2. 榎本倫太郎, Tolmachev Arseny, 新妻巧朗, 栗田修平, 河原大輔, “大規模言語モデル開発における日本語Web文書のフィルタリング手法の検証”, 言語処理学会第30回年次大会, P2274-2279, 2024年3月
   in Japaneselink
3. Arseny Tolmachev, Masayoshi Hayashi, Takuro Niitsuma, Rintaro Enomoto, Hao Wang, Shuhei Kurita, Daisuke Kawahara, Kazuma Takaoka, Yoshitaka Uchida, “Uzushio: A Distributed Huge Corpus Processor for the LLM Era”, 言語処理学会第30回年次大会, P902-907, 2024年3月
   in Englishlink
4. 岡崎 直観, 服部 翔, 平井 翔太, 飯田 大貴, 大井 聖也, 藤井 一喜, 中村 泰士, Mengsay Loem, 横田 理央, 水木 栄, “Swallowコーパス: 日本語大規模ウェブコーパス”, 言語処理学会第30回年次大会, P1498-1503, 2024年3月
   in Japaneselink
5. 藤井一喜, 中村泰士, Mengsay Loem, 飯田大貴, 大井聖也, 服部翔, 平井翔太, 水木栄, 横田理央, 岡崎直観, “継続事前学習による日本語に強い大規模言語モデルの構築”, 言語処理学会第30回年次大会, P2102-2107, 2024年3月
   in Japaneselink
6. 水木 栄, 飯田 大貴, 藤井 一喜, 中村 泰士, Mengsay Loem, 大井 聖也, 服部 翔, 平井 翔太, 横田 理央, 岡崎 直観, “大規模言語モデルの日本語能力の効率的な強化: 継続事前学習における語彙拡張と対訳コーパスの活用”, 言語処理学会 第30回年次大会, P1514-1519, 2024年3月
   in Japaneselink
7. 三輪拓真, 小田悠介, 河野誠也, 吉野幸一郎, “量子計算を用いたカスケードモデルとダイレクトモデルの検討”, 関西合同音声ゼミ, 2024年7月
   in Japaneselink
8. 高見享佑，宮尾祐介，関根聡，相澤彰子，黒橋禎夫, “全国学力・学習状況調査問題によるLLM評価データセット構築に向けて”, 日本教育工学会2024年秋季全国大会, 2024年9月
   in Japaneselink
9. 赤部 晃一, 前田 航希, 栗田 修平, 小田 悠介, “ESG情報抽出データセットの検討”, NLP若手の会 第19回シンポジウム, 2024年9月
   in Japaneselink
   

受賞Awards

1. 2024/11/07
   LLM-jpが楽天テクノロジー・エクセレンスアワード2023 エクセレンス賞を受賞
   link
   LLM-jp won the Rakuten Technology Excellence Awards 2023
   link
2. 2024/05/28
   LLM-jpがAAMT長尾賞を受賞
   in Japaneselink
3. 2024/9/18
   小田悠介特任准教授がGENIACコミュニティ賞を受賞
   in Japanese

プレスリリースPress Release

1. 2023/10/20
   130億パラメータの大規模言語モデル「LLM-jp-13B」を構築
   ～NII主宰LLM勉強会（LLM-jp）の初期の成果をアカデミアや産業界の研究開発に資するために公開～
   Link
   Development of the Large Language Model “LLM-jp-13B” with 13 Billion Parameters
   -The NII-hosted LLM Study Group (LLM-jp) releases initial results to contribute to academic and industrial research and development –
   Link
2. 2024/4/30
   大規模言語モデル「LLM-jp-13B v2.0」を構築
   ～NII主宰LLM勉強会（LLM-jp）が「LLM-jp-13B」の 後続モデルとその構築に使用した全リソースを公開～
   Link
   Development of the Large Language Model “LLM-jp-13B v2.0”
   The NII-hosted LLM Research Group (LLM-jp) releases the successor model of “LLM-jp-13B,” and makes all resources used for development open for the public –
   Link
3. 2024/9/17
   約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開
   ～学習データを含めすべてオープンにしたモデルとしては世界最大〜
   Link
   Full-Scratch Learning of a Large Language Model with Approximately 172 billion Parameters (GPT-3 Level) and Preview Release -The World’s Largest Fully Open Model, Including Training Data –
   Link

その他Others

1. 河原 大輔, 空閑 洋平, 黒橋 禎夫, 鈴木 潤, 宮尾 祐介, “LLM-jp: 日本語に強い大規模言語モデルの研究開発を行う組織横断プロジェクト”, 自然言語処理（学会記事）, 2024年31巻1号 P266-279, 2024年3月
   in Japaneselink
2. 黒橋禎夫, 「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」について, 文部科学省科学技術・学術審議会情報委員会, 2024年5月
   in Japaneselink
3. 藤井一喜, “Google Cloud: HPC Toolkitにて大規模深層学習環境を整備する”, Zenn, 2024年7月
   in Japaneselink
4. 藤井一喜, “GENIAC: 172B 事前学習知見”, Zenn, 2024年7月
   in Japaneselink
5. 藤井一喜, “Google Cloud の AI Hypercomputer で学習を加速させる”, Google Cloud Next Tokyo 2024, 2024年7月
   in Japaneselink
6. LLM-jp, Akiko Aizawa, Eiji Aramaki, Bowen Chen, Fei Cheng, Hiroyuki Deguchi, Rintaro Enomoto, Kazuki Fujii, Kensuke Fukumoto, Takuya Fukushima, Namgi Han, Yuto Harada, Chikara Hashimoto, Tatsuya Hiraoka, Shohei Hisada, Sosuke Hosokawa, Lu Jie, Keisuke Kamata, Teruhito Kanazawa, Hiroki Kanezashi, Hiroshi Kataoka, Satoru Katsumata, Daisuke Kawahara, Seiya Kawano, Atsushi Keyaki, Keisuke Kiryu, Hirokazu Kiyomaru, Takashi Kodama, Takahiro Kubo, Yohei Kuga, Ryoma Kumon, Shuhei Kurita, Sadao Kurohashi, Conglong Li, Taiki Maekawa, Hiroshi Matsuda, Yusuke Miyao, Kentaro Mizuki, Sakae Mizuki, Yugo Murawaki, Ryo Nakamura, Taishi Nakamura, Kouta Nakayama, Tomoka Nakazato, Takuro Niitsuma, Jiro Nishitoba, Yusuke Oda, Hayato Ogawa, Takumi Okamoto, Naoaki Okazaki, Yohei Oseki, Shintaro Ozaki, Koki Ryu, Rafal Rzepka, Keisuke Sakaguchi, Shota Sasaki, Satoshi Sekine, Kohei Suda, Saku Sugawara, Issa Sugiura, Hiroaki Sugiyama, Hisami Suzuki, Jun Suzuki, Toyotaro Suzumura, Kensuke Tachibana, Yu Takagi, Kyosuke Takami, Koichi Takeda, Masashi Takeshita, Masahiro Tanaka, Kenjiro Taura, Arseny Tolmachev, Nobuhiro Ueda, Zhen Wan, Shuntaro Yada, Sakiko Yahata, Yuya Yamamoto, Yusuke Yamauchi, Hitomi Yanaka, Rio Yokota, Koichiro Yoshino, “LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs”, arXiv, July 2024
   in Englishlink
7. 黒橋禎夫, “オープンかつ日本語に強いGPT-3級大規模言語モデルの構築”, GENIAC最終報告会, 2024年9月
   in Japaneselink
8. 高見享佑, “Digital Transformation and the Utilization of Educational Data in the Age of AI”,G20 Education Dialogue Education, Technology and Quality Growth in the Digital Era, Beijing, China, October 2024
   in English