※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
Jiarui Yao氏らによる論文において、研究レベルの問題解決における大規模言語モデル（LLM）の評価を目的としたリソース「OpenFrontiers」が発表されました。OpenFrontiersは、分野横断型の未解決研究問題の構造化コーパスと、数学における最近解決された問題を用いた回顧的ベンチマークを組み合わせたものです。
コーパスには、12,151件の問題に関する問題文、コンテキスト、進捗状況などの情報が記録されています。またベンチマークには200問が含まれており、その内訳は2026年に解決された110問と未解決の90問です。それぞれの問題には、自動プローブと2つの独立したレビューによってチェックされたLean 4のステートメントが備わっています。さらに、品質スコア等に基づいてフィルタリングされたサブセット「HQ-50」も用意されています。
評価プロトコルでは、閉じた書籍（closed-book）、凍結された検索（frozen-retrieval）、ライブウェブ（live-web）の各条件下で、独立した2つのチェッカーを用いて隔離されたサンドボックス内で形式的証明を採択します。HQ-50サブセットに対して7つのLLMエージェントを標準化された予算の下で評価した結果、クローズドブックでの再発見は稀であり、解決された40問のうち最大7問にとどまりました。一方、ライブウェブでの成功は、主に公開されたソリューションの検索を反映していることが判明しています。
この記事のポイント
- 研究レベルの問題解決に向けた未解決研究問題の構造化コーパスとベンチマーク「OpenFrontiers」が公開された。
- コーパスには12,151件の問題が収録され、ベンチマークには200問（2026年解決110問、未解決90問）が含まれる。
- 各問題にはLean 4のステートメントがあり、自動プローブと2つの独立したレビューで確認されている。
- 7つのLLMエージェントを評価した結果、クローズドブックでの再発見は解決された40問中最大7問と稀であった。
考察（筆者の見解）
事実として、OpenFrontiersは12,151件の未解決問題コーパスと200問のベンチマークを含み、LLMエージェントの評価においてクローズドブックでの再発見が限定的であることなどが示されています。
推測として、現在のLLMエージェント単体では自力での科学的発見（クローズドブックでの再発見）はまだ難易度が高く、ウェブ検索等の外部情報への依存度が高い現状が浮き彫りになっていると考えられます。今後は、エージェントの推論能力向上や、形式検証ツール（Lean 4など）と組み合わせたアプローチの進展に伴い、評価結果やエージェントの性能に変化が生じる可能性があります。
意見として、筆者は、こうした厳格な形式的検証と実在する未解決・解決済み問題を網羅したベンチマークの登場が、LLMの科学的発見能力を正確に測定・向上させる上で重要な基準になると考えます。
コメント