※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
Google DeepMindのシニアプロダクトマネージャーであるRohan Doshi氏とプリンシパルエンジニアのBen Caine氏は、2026年11月10日付の公式ブログにて、Artificial Analysisと共同で開発した新しいベンチマーク「Multimodal Knowledge Agent（MKA）」を発表しました。
MKAは、エージェントが視覚的に複雑なファイルをまたいで推論し、現実世界のナレッジワークタスクをどのように解決できるかを評価するために構築されたベンチマークです。建築のブループリントの相互参照、エンジニアリング回路図の追跡、調査結果の洗練された資料やレポート、スプレッドシートへの統合など、日常的な業務における視覚的な作業を測定することを目的としています。
このベンチマークは、建築家、生物学者、アンダーライター、データサイエンティストなど、日々の業務が本質的に視覚的である10の業界と83の職種の専門家と協力して作成されました。専門家たちが作成した200のタスク評価セットが含まれており、各タスクは熟練した専門家が3〜8時間かけて完了するマルチステップのプロジェクトを反映しています。
すべてのモデルは、同じオープンソースのエージェントハーネスである「Stirrup」上で、同じツール、サンドボックス、ターンバジェットを使用して実行されます。Google製ではないモデルを使用したエージェント型の自動評価器（autorater）が各成果物を採点し、専門家がモデル出力を採点した際の同意率は96%に達しています。
また、Artificial Analysisは200タスクの評価セットを実行してプライベートに保持する一方、形式の確認やテスト用に10のパブリックタスクをHugging Faceで公開しています。さらに、同日より「Gemini 4 Carbon」がGoogle AI StudioのGemini APIを通じて利用可能になったことも発表されています。
この記事のポイント
- 視覚的複雑性への対応力を評価: テキストのみでは解決できない、図表やレイアウトを含む視覚的な知識作業をエージェントが処理できるかを測定する。
- 多様な専門分野のタスク: 10の業界と83の職種の専門家の協力を得て作成された200のタスク評価セットを備える。
- 統一された環境での実行: すべてのモデルがオープンソースの「Stirrup」ハーネス、共通のツール、サンドボックス、ターンバジェットで動作する。
- Gemini 4 Carbonの提供開始: 品質面で高い評価を得たGemini 4 CarbonがGoogle AI StudioのGemini APIで利用可能になった。
考察（筆者の見解）
事実として、MKAベンチマークは10の業界と83の職種の専門家によって作成された200のタスクを含み、エージェントの評価には共通のエージェントハーネスであるStirrupや自動評価器が用いられています。また、Gemini 4 CarbonがGoogle AI Studio経由で提供開始されたことも事実です。
推測として、公開されているタスクセットが限定されていることや、自動評価器による96%の合意率が維持されることから、今後様々なモデルの視覚的推論能力を比較するための業界標準的なベンチマークの一つとして定着していく可能性があります。
筆者は、AIエージェントの実務導入において、単なるテキスト処理能力だけでなく、図面やスプレッドシートなどのレイアウト情報を含むマルチモーダルな処理能力の正確性が今後さらに重要になっていくと考えます。
コメント