※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
2026年11月14日に公開された論文「The Surprising Effectiveness of Deleting Weights in LLM Post-Training」において、大規模言語モデル（LLM）の事後訓練における新たな手法「Deletion Tuning」が発表されました。本論文はNeurIPS 2026に採択されています。
Jack Lu氏ら6名の著者による研究によると、事前学習済みLLMの重みのうち0.05%未満をゼロにすることで、他の変更を加えることなく、強化学習（検証可能な報酬を使用）、教師ありファインチューニング、オンポリシー蒸留という3つの事後訓練の領域において、フルファインチューニング（FFT）と同等の規模での性能を実現できるとしています。
この記事のポイント
- 事前学習済みLLMの重みの0.05%未満をゼロにするだけで、フルファインチューニングと同等の性能に達する。
- 「Deletion Tuning」の手法では、トランスフォーマーブロックのゲートプロジェクションに対してバイナリマスクを学習する。
- 訓練されたマスクは、対応するフルファインチューニングのチェックポイントと比較して数百から数千分の1のサイズとなる。
- 継続学習における主要な課題である「忘却」を大幅に抑制し、強化学習時の事前タスク精度がベースレベル付近にとどまる（FFTやLoRA、ランダムスパースファインチューニングでは最大5.4ポイント低下する）。
- 安定ランク、スペクトルドリフト、主重みオーバーラップを用いた幾何学的分析において、LoRAやランダムスパースファインチューニングと比較してフルファインチューニングに最も近い特性を示した。
考察（筆者の見解）
事実として、本論文ではトランスフォーマーブロックのゲートプロジェクションに対するバイナリマスク学習によって、重みの0.05%未満の削除のみでフルファインチューニングと同等の効果が得られることが示されています。また、チェックポイントのデータサイズが大幅に削減される点や、タスク継続学習における忘却の抑制効果が確認されている点も事実です。
推測として、この手法はモデルの軽量化やストレージ効率の改善だけでなく、複数のタスクを連続して学習させる際のメモリ管理やバージョン管理のコストを劇的に下げる可能性が考えられます。また、重みを「追加・更新」する従来の手法から「不要な部分を削除（マスク）する」というアプローチへの転換は、他のモデルアーキテクチャやモーダルの事後訓練にも影響を与える可能性があります。
筆者は、大規模言語モデルの運用コストやストレージ負担が実務上の大きなボトルネックとなっている現在、チェックポイントの容量を数百〜数千分の1に圧縮しつつ同等性能を維持できるDeletion Tuningは、MLOpsや効率的な継続学習の現場において極めて実用的なアプローチになると考えます。
コメント