その他のデータセット

新着情報

  • 日本語ファクトチェックベンチマークデータセットJSFactCheckBenchを公開しました(2026/8/31)。
  • マルチモーダル安全性データセットmsts-japaneseを公開しました(2026/7/8)。

JSFactCheckBench dataset

概要

JSFactCheckBench は、LLM の応答に対するファクトチェック性能を評価するための日本語ベンチマークです。日本のソーシャルメディア上で流通した誤情報に由来する 85 問の質問（JSocialFact より抜粋）に対して、11 種類の LLM が生成した 170 件の応答を 1,952 件の言明に分解し、各言明に以下の 2 軸のラベルを人手で付与しています。

  1. 事実性ラベル：言明の内容が事実に即しているかを示すラベル
  2. 重要度ラベル：質問に対してその言明が果たす役割を示すラベル

さらに、事実性ラベルの判定根拠として参照した Web ページのリンクとその該当箇所、および検索結果として使用した Web ページのリンクを、1 言明あたり最大 10 件付与しています。データセットの詳細については後日公開予定の論文をご参照ください。

データセットの利用
  • データセットはこちらで公開されています。データセットの再配布は禁止されていますのでご注意ください。
  • 本データセットは、その性質上、偽情報・誤情報を含む質問および LLM の応答を含んでいます。この点をご了承のうえ、LLM の安全性向上を目的としてご利用ください。

連絡先：ac_dataset (at) nii.ac.jp

msts-japanese dataset

概要

msts-japaneseはLLMのマルチモーダル安全性評価・向上のための日本語データセットです。MSTSという既存のデータセットの一部（400件中330件）に日本語翻訳と日本語による参考回答を加えたほか、そのうちの82件*には日本ローカル画像とそのためのプロンプト・参考回答も追加しています。今回公開するのは拡張した部分のみのデータです。データセットの詳細についてはこちらの論文をご覧ください。

*なお、このうち41件は、VisualBankグループの株式会社アマナイメージズ様より、同社の「Qlean Dataset」を通じて画像をご提供いただきました。ご厚意に感謝いたします。

データセットの利用
  • データセットはこちらで公開されています。データセットの再配布は禁止されていますのでご注意ください。
  • 本データセットはその性質上不適切な表現を含みます。承諾の上、LLMの安全性向上のためにご使用ください。

連絡先：ac_dataset (at) nii.ac.jp

免責事項

本データの制作者は、利用者が利用者自身又は第三者に与えた損害について、一切の責任を負わないものとする。また、本データのサービス提供の遅延、中断又は停止により利用者又は第三者が被った損害について、制作者は一切の責任を負わないものとする。制作者は、予告なしに、本データの運営を停止若しくは中止し、又は本データに掲載される情報の全部若しくは一部を変更する場合がある。