※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
2026年2月に公開された論文「Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?」（著者：Thibaud Gloaguen他4名）では、コーディングエージェント向けのリポジトリレベルのコンテキストファイル（AGENTS.mdなど）が実際のタスク完了性能に与える影響について検証が行われました。
ソフトウェア開発の現場では、コンテキストファイルを用いてコーディングエージェントをリポジトリに適応させる手法が広く普及し、エージェント開発者からも強く推奨されていました。しかし、これまで実世界のタスクに対して実際に効果があるのかについての厳密な調査は行われていませんでした。
本研究では、既存のSWE-benchタスクにLLM生成のコンテキストファイルを適用した設定と、開発者がコミットしたコンテキストファイルを含むリポジトリから収集した新たな課題の2つの補完的な設定において、コーディングエージェントのタスク完了性能が評価されました。
この記事のポイント
- コンテキストファイルの提供は、一般的なタスク成功率の向上につながりません。
- その一方で、推論コストは平均して20%以上増加することが判明しました。
- この傾向は、異なるLLMやコーディングエージェント、およびLLM生成・開発者コミットの両方のコンテキストファイルで共通して確認されました。
- コンテキストファイル内の指示はエージェントによく従われるものの、リポジトリの概要説明はモデル提供者によって推奨されているにもかかわらず有用ではないことが示されました。
考察（筆者の見解）
事実：論文の調査結果によると、コンテキストファイルの使用はタスク成功率を向上させず、推論コストを20%以上増加させました。また、非標準的なコーディングルールの指定にはコンテキストファイルが有用である一方、リポジトリの概要説明は役に立たないとされています。
推測：この結果から、エージェントに対する過剰なリポジトリ概要の提供はトークン消費を増大させるだけで、かえって効率を落とす要因になっている可能性があります。今後は、エージェントに読み込ませる情報を絞り込み、コスト対効果を慎重に見極めるアプローチが主流になると見られます。
意見：筆者は、開発現場においてモデル提供者の推奨を無条件に受け入れるのではなく、自社のワークフローやタスク特性に合わせてコンテキストファイルの構成を厳密に評価・検証していくことが重要と考えます。
コメント