※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
2026年2月9日、Hugging Face TransformersにQwen3.5モデルがコントリビュートされたことが公開されました。Qwen3.5は、テキスト、画像、動画のトークンをインタリーブしてゼロから訓練された、Qwenのネイティブマルチモーダル基盤モデルファミリです。
本モデルは、Gated DeltaNet（線形アテンション）レイヤー3つに対してGated Attention（フルアテンション）レイヤー1つを配置する3:1のハイブリッドアテンションスタックを採用しており、すべてのブロックで二次コストを支払うことなく長文脈やビジョントークンの処理を可能にしています。対象となるのは、密度が高いQwen3.5およびQwen3.6のバリアント（Qwen/Qwen3.5-9B、Qwen/Qwen3.5-27B、Qwen/Qwen3.6-27B）です。Qwen3.6のチェックポイントはQwen3.5と同一のアーキテクチャおよびmodel_typeを共有し、同じクラスで読み込まれます。
この記事のポイント
- Qwen3.5はテキスト・画像・動画トークンを訓練したネイティブマルチモーダル基盤モデルです。
- 3:1のハイブリッドアテンションスタック（Gated DeltaNetとGated Attention）により、長文脈やビジョントークンの処理コストを抑える設計になっています。
- Qwen3.5-9BやQwen3.5-27B、Qwen3.6-27Bなどの高密度バリアントがカバーされています。
from_pretrained()でuse_kernels=Trueを指定することにより、サポートされているレイヤーをHubの最適化されたカーネルに置き換えることができます。
考察（筆者の見解）
事実として、Qwen3.5ファミリは線形アテンションとフルアテンションを組み合わせたハイブリッド構造を持ち、Hugging FaceのTransformersライブラリを通じて標準的なパイプラインやクラスで容易にロード・実行できるようになっています。推測として、こうしたハイブリッドアテンションの採用は、計算効率を維持しつつマルチモーダル性能や長文脈対応を強化するためのトレンドが実用段階に入っていることを示していると考えられます。実務においては、use_kernels=Trueを活用したカーネル最適化など、推論時の効率化手法の検証が重要になると見られます。
コメント