※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
米国の新しいAIラボであるReflectionは、総パラメータ数501B（トークンあたり23Bがアクティブ）のMixture-of-Experts（MoE）モデル「Beam」をHugging Faceにて公開した。本モデルはテキスト入出力に対応し、コンテキストウィンドウは1Mトークンをサポート、オープンなApache 2.0ライセンスの下でリリースされている。
Beamはコーディングおよびエージェント用途に焦点を当てており、自社所有のハードウェアやインフラ、クラウド上でフロンティアスケールのモデルを運用・カスタマイズしたいチーム向けに設計されている。モデルにはRustベースの専用オープンソースハーネスが付属し、ネイティブのtransformers実装に加え、vLLMやSGLangなどのダウンストリームライブラリにも対応している。また、推論、教師あり微強化学習（SFT）、強化学習（RL）のレシピが提供されている。
チェックポイントのフォーマットとしては、BF16、FP8、NVFP4が用意されている。推論時の特徴として、ターンをまたいで推論を保持する機能（preserve_thinking）や、専用文法によるツールコールをサポートしており、推論値として「low」「medium」「xhigh」「max」の5段階を選択できる。さらに、DFlash2を用いた投機的デコーディング用ドラフターモデルや、Milesによるフルパラメータ強化学習なども用意されている。
なお、ReflectionではBeamを活用したプロジェクトを対象に、Hugging Face Hubのクレジット10,000ドル分を贈る企画を実施している。参加者はSpacesでのデモ作成、量子化、合成データセットの生成、RL環境の構築、ベンチマーク測定などの成果物をHub上で共有することで応募が可能となっている。
ポイント
- 大規模MoE設計と高い処理効率: 52層のアーキテクチャを持ち、MoE層には256のエキスパートを配置。トークンごとに8つのエキスパートがルーティングされるため、約23Bパラメータ相当の速度で動作する。
- 1Mトークンの長文脈とアテンション構造: 多数の層でスライディングウィンドウアテンション（512トークン）を採用しつつ、6層ごとに1層および最終層でグローバルアテンションを適用している。グローバル層では位置エンコーディングの代わりにスケーラブルソフトマックスクエリスケーリングを使用する。
- 多様なチェックポイントとエコシステム: BF16、FP8、NVFP4の各チェックポイントが提供されており、day-0からtransformers、SGLang、vLLMなどのライブラリをサポートしている。
- エージェント・推論機能の強化:
preserve_thinkingによる文脈をまたいだ推論保持や、5段階の推論値設定、ツールコール用の専用文法を備える。
考察（筆者の見解）
Reflectionが発表した「Beam」は、単にパラメータ数が多いというだけでなく、オンプレミスや独自インフラでのフロンティアモデル運用を現実的なコストとスピードで実現しようとする明確な意図が感じられる。501Bという巨大なモデルサイズを保持しながらも、アクティブパラメータを23Bに抑えるMixture-of-Expertsの仕組みや、NVFP4をはじめとする多様なチェックポイントの提供は、ハードウェア制約の厳しい現場において大きなメリットとなるだろう。
特に、1Mトークンという長文脈処理能力や、エージェント用途を意識したツールコール、preserve_thinkingによる推論の継続性は、複雑な開発タスクを自律的にこなすAIエージェントの構築において重要な要素となる。Rustベースの専用ハーネスや、vLLM、SGLangといった主要な推論エンジンへのday-0対応も含め、実務への導入ハードルを下げる工夫が多角的に凝らされている点も評価できる。オープンソース・オープンモデルのエコシステムにおいて、インフラ特化型の強力な選択肢として今後の活用事例が注目される。
コメント