※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
2026年10月27日、Hugging Faceにて、エージェント型CLIシステム向けの基礎モデル「IQuest-Q1」に関する論文が公開されました。IQuest-Q1は、スパースなMixture-of-Experts（MoE）構造を持つ基盤モデルであり、総パラメータ数が320B、活性化パラメータ数が15Bとなっています。
開発プロセスは3つの段階で構成されています。第1段階では、Stable SplitNorm、Muon、muPを組み合わせた安定かつ効率的な事前トレーニングが行われ、コーディングデータの混合比率を高める2段階カリキュラムが採用されました。第2段階では、ドメインやフォーマットにわたるデータ混合の拡大とコンテキストの段階的拡張を行うきめ細かなミッドトレーニングが実施されました。第3段階では、SFT、ドメイン特化型RL、MOPDを組み合わせたマルチバージョンおよびマルチスクaffoldによるポストトレーニングが行われました。さらに、モデルのマージによって異なるステージの専門家やチェックポイントが統合されています。
コミュニティの研究開発支援を目的として、IQuest-Q1はオープンソースモデルとして公開されています。
この記事のポイント
- 総パラメータ数320B、活性化パラメータ数15BのスパースMoE構造を採用しています。
- 安定・効率的な事前トレーニング、きめ細かなミッドトレーニング、マルチスクaffoldによるポストトレーニングの3段階で開発されました。
- モデルのマージ技術を活用して、異なるステージからの専門家やチェックポイントを統合しつつパラメータ更新の衝突を軽減しています。
- コミュニティの研究開発を支援するため、オープンソースモデルとしてリリースされています。
考察（筆者の見解）
事実
IQuest-Q1は、3段階のプロセス（事前トレーニング、ミッドトレーニング、ポストトレーニング）を経て開発された、総パラメータ数320B（活性化15B）のMoEモデルです。オープンソースとして公開されています。
推測
3段階のトレーニングプロセスやモデルマージの手法を導入していることから、大規模なパラメータ数を効率的に稼動させつつ、エージェント型のコーディングや複雑なタスクにおける性能最適化を図ったものと推測されます。また、オープンソースとしての公開により、コミュニティにおけるエージェントCLIシステムの研究や類似モデルの開発が促進される可能性があります。
意見
筆者は、大規模なMoEモデルにおいてパラメータの活性化数を抑えつつ高度なエージェント能力をいかに引き出すかという点において、本モデルのトレーニング手法やマージアプローチは今後のオープンソースLLM開発において重要な参考資料になると考えます。
コメント