※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
DeepSeek-AIおよび199人の著者らは、2024年12月（arXiv登録日）に「DeepSeek-V3 Technical Report」を発表しました。本レポートでは、合計671B（6710億）パラメータを持ち、1トークンあたり37Bがアクティブ化される強力なMixture-of-Experts（MoE）言語モデル「DeepSeek-V3」が紹介されています。
効率的な推論とコスト効率の高いトレーニングを実現するため、DeepSeek-V3にはDeepSeek-V2で検証されたMulti-head Latent Attention（MLA）およびDeepSeekMoEアーキテクチャが採用されています。さらに、負荷分散のための補助損失フリー（auxiliary-loss-free）戦略の開拓や、より強力なパフォーマンスを目的としたマルチトークン予測トレーニング目標の設定が行われています。
事前トレーニングには14.8兆の多様かつ高品質なトークンが使用され、その後、能力を最大限に引き出すために教師ありファインチューニング（Supervised Fine-Tuning）および強化学習（Reinforcement Learning）のステージが実施されました。包括的な評価の結果、DeepSeek-V3は他のオープンソースモデルを凌駕し、主要なクローズドソースモデルに匹敵する性能を達成しています。
トレーニングに関して、完全なトレーニングには2.788MのH800 GPU時間が必要とされました。プロセスは非常に安定しており、トレーニング全体を通して回復不能な損失の急上昇（loss spikes）やロールバックの発生はなかったとされています。モデルのチェックポイントは公開されています。
この記事のポイント
- 大規模なMoE構造: 合計671Bパラメータ、1トークンあたり37Bがアクティブ化される設計を採用。
- 効率化技術の導入: Multi-head Latent Attention（MLA）およびDeepSeekMoEアーキテクチャを継承・採用。
- 学習の安定性と規模: 14.8兆トークンによる事前トレーニングを実施し、2.788MのH800 GPU時間を費やしながらも安定した学習を実現。
- 性能面での成果: オープンソースモデルを上回り、主要なクローズドソースモデルに匹敵するパフォーマンスを達成。
考察（筆者の見解）
事実として、DeepSeek-V3は671BパラメータのMoEモデルであり、14.8兆トークンによる事前学習を経て、2.788MのH800 GPU時間でトレーニングが完了しています。また、トレーニング中に損失の急上昇やロールバックが発生しなかったことが報告されています。
推測として、効率的なアーキテクチャの採用と安定した学習プロセスの実現により、今後は大規模言語モデルのトレーニングコスト削減やオープンソースモデルの性能向上がさらに加速する可能性があります。筆者は、こうした効率化手法が今後のLLM開発における標準的なアプローチの一つとして影響を与えていくと考えます。
コメント