Achievements

研究成果のカテゴリ一覧

※横方向にスクロールできます

公開しているモデル・コーパス・ツールModels, Corpus, and Tools

https://llm-jp.nii.ac.jp/release/in Japanese

https://llm-jp.nii.ac.jp/en/release/in English

学術雑誌論文Journal Papers

国際会議論文International Conference Papers

1. Yikun Sun, Zhen Wan, Nobuhiro Ueda, Sakiko Yahata, Fei Cheng, Chenhui Chu, Sadao Kurohashi, “Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese”, LREC-COLING 2024,　May 2024
   in Englishpeer-reviewedlink
2. Hirokazu Kiyomaru, Issa Sugiura, Daisuke Kawahara, Sadao Kurohashi, “A Comprehensive Analysis of Memorization in Large Language Models”, INLG 2024, September 2024
   in Englishpeer-reviewed
3. Yuko Nakagi, Takuya Matsuyama, Naoko Koide-Majima, Hiroto Q. Yamaguchi, Rieko Kubo, Shinji Nishimoto, Yu Takagi, “Unveiling Multi-level and Multi-modal Semantic Representations in the Human Brain using Large Language Models”, EMNLP 2024 (Long, Main conference), Nov 2024
   in English peer-reviewed

ワークショップ論文Work Shop Papers

講演会・学会発表Conference Papers

1. Namgi Han, 植田暢大, 大嶽匡俊, 勝又智, 鎌田啓輔, 清丸寛一, 児玉貴志, 菅原朔, Bowen Chen, 松田寛, 宮尾祐介, 村脇有吾, 劉弘毅, “llm-jp-eval: 日本語大規模言語モデルの自動評価ツール”, 言語処理学会第30回年次大会, P2085-2089, 2024年3月
   in JapaneseLink
2. 榎本倫太郎, Tolmachev Arseny, 新妻巧朗, 栗田修平, 河原大輔, “大規模言語モデル開発における日本語Web文書のフィルタリング手法の検証”, 言語処理学会第30回年次大会, P2274-2279, 2024年3月
   in Japaneselink
3. Arseny Tolmachev, Masayoshi Hayashi, Takuro Niitsuma, Rintaro Enomoto, Hao Wang, Shuhei Kurita, Daisuke Kawahara, Kazuma Takaoka, Yoshitaka Uchida, “Uzushio: A Distributed Huge Corpus Processor for the LLM Era”, 言語処理学会第30回年次大会, P902-907, 2024年3月
   in Englishlink
4. 岡崎 直観, 服部 翔, 平井 翔太, 飯田 大貴, 大井 聖也, 藤井 一喜, 中村 泰士, Mengsay Loem, 横田 理央, 水木 栄, “Swallowコーパス: 日本語大規模ウェブコーパス”, 言語処理学会第30回年次大会, P1498-1503, 2024年3月
   in Japaneselink
5. 藤井一喜, 中村泰士, Mengsay Loem, 飯田大貴, 大井聖也, 服部翔, 平井翔太, 水木栄, 横田理央, 岡崎直観, “継続事前学習による日本語に強い大規模言語モデルの構築”, 言語処理学会第30回年次大会, P2102-2107, 2024年3月
   in Japaneselink
6. 三輪拓真, 小田悠介, 河野誠也, 吉野幸一郎, “量子計算を用いたカスケードモデルとダイレクトモデルの検討”, 関西合同音声ゼミ, 2024年7月
   in Japaneselink
7. 高見享佑，宮尾祐介，関根聡，相澤彰子，黒橋禎夫, “全国学力・学習状況調査問題によるLLM評価データセット構築に向けて”, 日本教育工学会2024年秋季全国大会, 2024年9月
   in Japaneselink

受賞Awards

1. 2024/11/07
   LLM-jpが楽天テクノロジー・エクセレンスアワード2023 エクセレンス賞を受賞
   link
   LLM-jp won the Rakuten Technology Excellence Awards 2023
   link
2. 2024/05/28
   LLM-jpがAAMT長尾賞を受賞
   in Japaneselink

プレスリリースPress Release

1. 2023/10/20
   130億パラメータの大規模言語モデル「LLM-jp-13B」を構築
   ～NII主宰LLM勉強会（LLM-jp）の初期の成果をアカデミアや産業界の研究開発に資するために公開～
   Link
   Development of the Large Language Model “LLM-jp-13B” with 13 Billion Parameters
   – The NII-hosted LLM Study Group (LLM-jp) releases initial results to contribute to academic and industrial research and development –
   Link
2. 2024/4/30
   大規模言語モデル「LLM-jp-13B v2.0」を構築
   ～NII主宰LLM勉強会（LLM-jp）が「LLM-jp-13B」の 後続モデルとその構築に使用した全リソースを公開～
   Link
   Development of the Large Language Model “LLM-jp-13B v2.0”
   The NII-hosted LLM Research Group (LLM-jp) releases the successor model of “LLM-jp-13B,” and makes all resources used for development open for the public –
   Link
3. 2024/9/17
   約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開
   ～学習データを含めすべてオープンにしたモデルとしては世界最大〜
   Link
   

その他Others

1. 河原大輔, 空閑洋平, 黒橋禎夫, 鈴木潤, 宮尾祐介, “LLM-jp: 日本語に強い大規模言語モデルの研究開発を行う組織横断プロジェクト”, 自然言語処理（学会記事）, 2024年31巻1号 P266-279, 2024年3月
   in Japaneselink
2. 藤井一喜, “Google Cloud: HPC Toolkitにて大規模深層学習環境を整備する”, Zenn, 2024年7月
   in Japaneselink
3. 藤井一喜, “GENIAC: 172B 事前学習知見”, Zenn, 2024年7月
   in Japaneselink
4. 藤井一喜, “Google Cloud の AI Hypercomputer で学習を加速させる”, Google Cloud Next Tokyo 2024, 2024年7月
   in Japaneselink
5. LLM-jp, Akiko Aizawa, Eiji Aramaki, Bowen Chen, Fei Cheng, Hiroyuki Deguchi, Rintaro Enomoto, Kazuki Fujii, Kensuke Fukumoto, Takuya Fukushima, Namgi Han, Yuto Harada, Chikara Hashimoto, Tatsuya Hiraoka, Shohei Hisada, Sosuke Hosokawa, Lu Jie, Keisuke Kamata, Teruhito Kanazawa, Hiroki Kanezashi, Hiroshi Kataoka, Satoru Katsumata, Daisuke Kawahara, Seiya Kawano, Atsushi Keyaki, Keisuke Kiryu, Hirokazu Kiyomaru, Takashi Kodama, Takahiro Kubo, Yohei Kuga, Ryoma Kumon, Shuhei Kurita, Sadao Kurohashi, Conglong Li, Taiki Maekawa, Hiroshi Matsuda, Yusuke Miyao, Kentaro Mizuki, Sakae Mizuki, Yugo Murawaki, Ryo Nakamura, Taishi Nakamura, Kouta Nakayama, Tomoka Nakazato, Takuro Niitsuma, Jiro Nishitoba, Yusuke Oda, Hayato Ogawa, Takumi Okamoto, Naoaki Okazaki, Yohei Oseki, Shintaro Ozaki, Koki Ryu, Rafal Rzepka, Keisuke Sakaguchi, Shota Sasaki, Satoshi Sekine, Kohei Suda, Saku Sugawara, Issa Sugiura, Hiroaki Sugiyama, Hisami Suzuki, Jun Suzuki, Toyotaro Suzumura, Kensuke Tachibana, Yu Takagi, Kyosuke Takami, Koichi Takeda, Masashi Takeshita, Masahiro Tanaka, Kenjiro Taura, Arseny Tolmachev, Nobuhiro Ueda, Zhen Wan, Shuntaro Yada, Sakiko Yahata, Yuya Yamamoto, Yusuke Yamauchi, Hitomi Yanaka, Rio Yokota, Koichiro Yoshino, “LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs”, arXiv, July 2024
   in Englishlink