LLM2LLM：具有新的迭代資料增強的Boosting（一種模型訓練加速方式）LLM

內容導讀

這篇論文介紹了一種突破性的方法，用於改善在資料稀缺情況下大型語言模型（LLMs）的效能。 這種技術稱為LLM2LLM，利用一個「教師」LLM根據「學生」LLM的錯誤產生合成數據，然後迭代地對學生模型進行微調。 這種方法特別值得關注，因為它有潛力顯著增強LLMs在專業任務中的能力，而無需進行大量昂貴的資料整理。 論文中呈現的結果顯示，與傳統的微調方法相比，在各種資料集上效能提升高達52.6%。 這項創新可能會改變開發人員和研究人員在資料受限環境中使用LLMs的方式，對於那些對尖端人工智慧和機器學習進展感興趣的人來說，這是一篇引人入勝的閱讀材料。

自動總結

– LLM2LLM是一種針對低資料情況下的迭代資料增強策略，使用教師LLM來增強小型種子資料集。
– LLM2LLM透過對初始種子數據進行基線學生LLM的微調，評估和提取模型錯誤的數據點，並使用教師LLM基於這些錯誤數據點生成合成數據，將其添加回訓練數據中。
– LLM2LLM顯著提高了LLM在低數據情況下的性能，優於傳統的微調和其他數據增強方法。
– LLM2LLM減少了對勞動密集型資料篩選的依賴，為更可擴展和高效能的LLM解決方案鋪平了道路。
– 使用LLaMA2-7B學生模型，在低數據情況下，LLM2LLM在GSM8K資料集上提高了24.2%，在CaseHOLD上提高了32.6%，在SNIPS上提高了32.0%，在TREC上提高了52.6%，在 SST-2上提高了39.8%。

原文連結：https://arxiv.org/abs/2403.15042v1