LLM-jpモデルに対するOLMo2ベースの中間学習の検討

研究成果

LLM-jpモデルに対しAi2公開のOLMo2中間学習データセットを検証しました。中間学習によりgsm8kで顕著な性能向上が確認できました。詳細はLLM-jpサイトに掲載のブログを参照ください。