Machine Learning

LLMの推論における出力の非決定性を解消するため、スペキュラティブ・デコーディングに着想を得たスケジューリング手法「LLM-42」が提案されました。