ベンチマーク・評価 AIコーディングエージェントの安全性を検証する新ベンチマーク「UnderSpecBench」発表
LLMコーディングエージェントのDevOps環境における動作境界違反を測定する新ベンチマーク「UnderSpecBench」が発表されました。
ベンチマーク・評価
ベンチマーク・評価 
ベンチマーク・評価 マルチモーダルマルチエージェントの数学推論を評価するベンチマーク「MAMath-Bench」
マルチモーダルマルチエージェントシステムの数学的推論能力を、プロセス指向かつロバスト性の観点から評価する新しいベンチマーク「MAMath-Bench」が提案されました。
ベンチマーク・評価 データ分析タスクの合成フレームワーク「DataPraxis」と検証済みデータセット
検証済みワークスペースの進化に基づく分析タスク合成フレームワーク「DataPraxis」と、それを用いて構築された5,000件のデータセット、訓練済みモデルの性能について解説します。
ベンチマーク・評価 Microsoft、逆合成予測モデル「RetroChimera」をNature誌で発表
Microsoftの研究チームは、分子の逆合成予測を大規模かつ高精度に行う新しいフレームワーク「RetroChimera」をNature誌で発表しました。GitHubにてオープンソースとして公開されています。
ベンチマーク・評価 マルチエージェント協調は臨床タスクの幻覚を削減するか？論文解説
マルチエージェントLLMシステムは臨床タスクの性能を向上させるが、それが必ずしも推論中の幻覚削減につながるわけではないことを検証した論文の解説。
ベンチマーク・評価 LLMエージェントの長期自律経営を評価する「E-Commerce Bench」発表
Alibabaの研究者らは、LLMエージェントの長期的な自律的ビジネス運営能力を評価するオープンソースベンチマーク「E-Commerce Bench」を導入した。
ベンチマーク・評価 LLMの意思決定における公平性を評価する新ベンチマーク「FairStress」登場
Hugging Face等によるFairStressは、LLMの意思決定における隠れた非対称性や説得への耐性を測定するベンチマークです。
ベンチマーク・評価 ALTK-Evolveが学習済みメモリでカスタマーサービス向けベンチマーク「τ²-bench」首位を獲得
ALTK-Evolveは、モデルの重みを更新することなく、学習済みメモリとガイドラインを用いてカスタマーサービス向けベンチマークτ²-benchの小売部門で上位を達成しました。
ベンチマーク・評価 農業生態系エージェントモデルの意思決定ルールに対する感度分析
MAELIAプラットフォームの作物管理手順を階層的な設計空間としてエンコードし、ランダムフォレストを用いたHSIC-ANOVA手法を提案する論文の解説。