Deletion Tuning

事前学習済みLLMの重みの0.05%未満をゼロ化するだけでフルファインチューニングに匹敵する効果を得られるとする論文「The Surprising Effectiveness of Deleting Weights in LLM Post-Training」が公開されました。