目前業(yè)界模型性能通常與訓(xùn)練期間投入的資源綁定，除了頭部廠商大肆投入資源訓(xùn)練模型外，許多小型企業(yè)和個人開發(fā)者實際上并不具備足夠的資源，為了解決這一問題，許多團隊試圖尋找降本增效替代方案。
Hugging Face 于本月中旬公布一項報告，提出一種“擴展測試時計算（IT之家注：Test-Time Compute Scaling）”方法，也就是用時間來彌補模型體量，給予“低成本小模型”充足時間，讓相關(guān)模型能夠?qū)?fù)雜問題生成大量結(jié)果，再利用驗證器對這些結(jié)果進行測試及修正，反復(fù)輸出能夠比擬“高成本大模型”的結(jié)果。
Hugging Face 團隊表示，他們使用這種方法利用 10 億參數(shù)的 Llama 模型進行數(shù)學(xué)基準(zhǔn)測試，據(jù)稱在某些情境下超越了參數(shù)量高達 70 億的大型模型，證明了用時間提升模型輸出內(nèi)容效果做法可行。
此外，谷歌 DeepMind 最近也公布了類似的論文，他們認為可以為小模型動態(tài)分配運算資源，并設(shè)置驗證器對模型的解答結(jié)果進行評分，從而引導(dǎo)模型不斷輸出正確的答案，從而幫助企業(yè)以較少的資源部署足夠精度的語言模型。
