※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
大規模言語モデル（LLM）の推論において、同じプロンプトを入力しても異なる実行間で異なる出力が生成される問題に対し、Raja Gondらによる研究チームが新たなアプローチ「LLM-42」を発表しました。この研究は、arXiv（arXiv:2601.17768）にて公開されています。
LLMの推論における非決定性は、システムレベルでは浮動小数点の非結合性と、動的バッチ処理およびバッチサイズによって順序が変化するGPUカーネルの縮約処理が組み合わさることで発生します。従来、これを排除するためには動的バッチ処理を無効化する方法がありましたが、スループットが大幅に低下するという課題がありました。また、カーネル自体をバッチ不変にするアプローチでは、決定性がカーネル設計に強く結合してしまい、新たな実装が必要になるほか、決定性を必要としないワークロードに対しても固定の実行時オーバーヘッドが生じていました。
この記事のポイント
- 同じプロンプトを入力した場合でも、LLMの推論において異なる出力が生成される非決定性の問題が存在する。
- 非決定性の主な要因は、浮動小数点の非結合性と動的バッチ処理、GPUカーネルの縮約順序の変動にある。
- 提案手法「LLM-42」は、スペキュラティブ・デコーディングのアイデアに着想を得たスケジューリングベースのアプローチである。
- LLM-42は、非決定的な高速パスを用いてトークンをデコードし、軽量な検証・ロールバックループによって決定性を強制する。
- 既存のカーネルをそのまま再利用し、決定性を必要とするトラフィックの割合に応じたオーバーヘッドに抑える。
考察（筆者の見解）
事実LLM-42は、一貫した状態にあるシーケンスであれば、動的バッチ処理が適用されている場合でも次に生成されるトークンは一貫している可能性が高いという観点、および多くのGPUカーネルが形状一貫性の縮約を使用しているという洞察に基づいています。検証器は、固定形状の縮約スケジュールのもとで候補トークンを再実行し、実行間で一貫性が保証されるものを確定させ、違反するものをロールバックします。
推測動的バッチ処理の効率を維持しながら出力の再現性を担保できるため、厳密な検証やデバッグが求められる本番環境において、スループットの大幅な低下を回避しながらLLMを利用できるようになる可能性があります。また、カーネル設計への依存度が低いことから、多様なハードウェア環境や既存のシステムへの適用が容易になることが期待されます。
意見筆者は、LLMの非決定性が実務上のトラブルシューティングや品質管理の大きな障壁になってきた点を踏まえると、LLM-42のようなオーバーヘッドを最小限に抑えるスケジューリング手法は、実運用における信頼性を高める上で非常に有意義なアプローチであると考えます。
コメント