llm-jp-judge v2.0.0 の公開
研究成果
日本語 LLM-as-a-Judge による評価を統合的に扱うためのツール llm-jp-judge の v2.0.0 を公開しました。
llm-jp/llm-jp-judge: 生成自動評価を行うためのPythonツール
https://github.com/llm-jp/llm-jp-judge
v2.0.0 では、新たに日本文化と安全性境界テストのタスクに対応しました。また、パッケージ管理ツールを uv に移行するなどの内部処理の改善も含まれています。v2.0.0 の変更点について詳しくは リリースノート をご覧ください。
llm-jp-judge について詳しくは、下記の論文もご参照ください。
中山功太, 児玉貴志, 鈴木久美, 宮尾祐介, 関根聡. llm-jp-judge: 日本語 LLM-as-a-Judge 評価ツール. 言語処理学会 第31回年次大会 (NLP 2025), pp.755–760, March 2025.
https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/Q2-4.pdf