※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
2026年10月28日、Allen Institute for Artificial Intelligence（Ai2）は、大規模言語モデル（LLM）が科学研究アイデアの新しさ（ノベルティ）をどれほど信頼性高く評価できるかを調査した新しい研究「Old Ideas, Novel Problems」を発表しました。
これに伴い、新しさを評価する審査員モデル（novelty judge）をテストするためのベンチマーク、データ、コード、そして研究者が新しい評価セットを構築するための自動化パイプラインが公開されました。
Ai2ではこれまで、科学的発見のさまざまなプロセスを支援するAIシステム（DataVoyager、AutoDiscovery、Theorizer、Astaなど）の開発を進めてきました。しかし、AIによる自動科学発見において、アイデアを生成するだけでなく、そのアイデアが既存の成果の焼き直しではなく真に新しいものかを区別することが課題となっていました。
研究チームが6つのLLM審査員（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6）を用いて実施した実験では、評価設定にわずかな変更を加えるだけで、同じアイデアに対する判断が劇的に異なる結果となりました。例えば、プロンプト内の数語を変更するだけで、どちらのアイデアがより新規性があるかを特定するモデルの精度が50パーセントポイント以上変動することが示されました。
この記事のポイント
- Ai2がLLMによる科学研究アイデアの新規性評価に関する新研究とベンチマークを公開した
- ICLR 2026の査読レビューを活用し、人間の研究アイデアに基づく高新規性プールと低新規性プールを作成した
- GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6モデルで検証を実施した
- プロンプトの微小な変更で精度が50パーセントポイント以上変動するなど、評価の不安定さが明らかになった
考察（筆者の見解）
事実: 公開された調査では、ICLR 2026の査読における独自性への言及をもとに評価用データセットが構築され、複数の最先端LLMを用いたテストでプロンプトの変更や設定の違いによって判定結果が大きく揺らぐことが確認されました。
推測: この結果から、現状のLLM審査員はプロンプトのわずかな差異や文脈の与え方に大きく依存しており、科学的な新規性を客観的かつ一貫して測る基準としてはまだ十分な安定性を持っていないと考えられます。また、専用に構築された評価システムが単純なベースラインモデルを下回ったという点は、単にモデルの規模や専用設計を増やすだけではこの課題が解決しない可能性を示唆しています。
意見: 筆者は、AIによる科学発見の自動化を実務や学術研究で本格的に信頼して活用するためには、アイデア生成能力の向上だけでなく、その評価プロセスの再現性と頑健性を高めるための明確な検証基盤が不可欠であると考えます。
コメント