GPT-4 再度進化！

加上一個簡單方法，就能讓 GPT-4 這類大語言模型學會自我反思，性能直接提升 30%。

在此之前，大語言模型回答出錯，經(jīng)常是二話不說，直接先道歉，然后 emmmmmm，繼續(xù)亂猜。

現(xiàn)在，它不會這樣了，有了新方法的加成，GPT-4 不僅會反思自己哪里錯了，還會給出改進策略。

比如說它會自動分析為什么“陷入循環(huán)”:

或者說反思一下自己有缺陷的搜索策略:

這是美國東北大學聯(lián)合 MIT 發(fā)表的最新論文中的方法:Reflexion。

不僅適用于 GPT-4，也適用于其他大語言模型，讓它們學會人類特有的反思能力。

目前該論文已經(jīng)發(fā)表在預印平臺 arxiv 上。

這把直接讓網(wǎng)友直呼“AI 進化的速度已經(jīng)超過我們適應的能力了，我們要被毀滅了。”

甚至有網(wǎng)友為開發(fā)人員發(fā)來“飯碗警告”:

用這種方法寫代碼的時薪是要比普通開發(fā)人員便宜的。

利用二元獎勵機制實現(xiàn)反思

正如網(wǎng)友所言，Reflexion 賦予 GPT-4 的反思能力和人類的思考過程差不多:

可以簡單用兩個字來概括:反饋。

在這個反饋過程中，又可以分為三大步:

• 1、評估:測試當前生成答案的準確性

• 2、自我反省的產(chǎn)生:錯誤識別 —— 實現(xiàn)修正

• 3、執(zhí)行一個迭代反饋循環(huán)

在第一步評估的過程中，首先要經(jīng)歷的是 LLM的自我評估。

也就是說 LLM 在還沒有外部反饋時，首先要自己對答案進行反思。

那如何進行自我反思？

研究團隊使用了一個二元獎勵機制，為 LLM 在當前狀態(tài)下執(zhí)行的操作賦值:

1 代表生成的結果 OK，0 則表示生成的結果不太行。

而之所以采用二元而非多值或連續(xù)輸出這類更具描述性的獎勵機制，原因和沒有外部輸入有關。

要在沒有外部反饋的條件下進行自我反思，必須將答案限制在二元狀態(tài)下，只有這樣，才能迫使 LLM 做出有意義的推斷。

在自我評估結束之后，如果二元獎勵機制輸出為 1，則不啟動自我反思裝置，若為 0，LLM 則會開啟反思模式。

在反思的過程中，模型會觸發(fā)一個啟發(fā)性函數(shù) h，類比人類思考過程，h 起到的作用就像是監(jiān)督一樣。

不過，同人類思考一樣，LLM 在反思的過程中同樣也有局限性，這在函數(shù)中的 Ω 和 ε 中就能體現(xiàn)。

Ω 表示重復連續(xù)動作的次數(shù)，一般會將這個數(shù)值設置為 3，這表示反思過程中若重復一個步驟三次，會直接跳到下一個步驟。

而 ε 則表示在反思的過程中允許執(zhí)行的最大操作數(shù)量。

既然有監(jiān)督，那修正也必須執(zhí)行，修正過程的函數(shù)是這樣子的:

其中，自我反思模型是通過“特定領域的失敗軌跡和理想反射對”訓練而來的，并不允許訪問數(shù)據(jù)集中給定問題的特定領域的解決方案。

這樣一來，LLM 在反思的過程中便能夠迸發(fā)出更多有“創(chuàng)新性”的東西。

反思之后性能提升近 30%

既然 GPT-4 這類 LLM 都能夠進行自我反思了，那具體效果究竟如何？

研究團隊在 ALFWorld 和 HotpotQA 基準上對這種方法進行了評估。

在 HotpotQA 的 100 個問答對測試中，使用 Reflexion 這種方法的 LLM 顯示出了巨大的優(yōu)勢，再經(jīng)過多輪反思重復提問之后，LLM 的性能提升了接近 30%。

而沒有使用 Reflexion，在重復問答之后，性能沒有任何變化。

在 HotpotQA 的 134 個問答對測試中，可以看出在 Reflexion 的加持下，LLM 經(jīng)過多輪反思后，準確率一度達到 97%。

在另外一篇博客中，團隊成員也曬出了他們這種方法在 GPT-4 上的效果，測試范圍是編寫代碼。

結果也顯而易見，用了 Reflexion，GPT-4 的編程能力直接提升了 21%。

關于 GPT-4 已經(jīng)會“思考”了，你怎么(le)看(ma)？

論文地址:

參考鏈接:

鄭重聲明：此文內容為本網(wǎng)站轉載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。