DeepMind又加了一篇NS論文。

這次是信息學(xué)選手中的奧數(shù)AlphaCode，登上了最新一期《科學(xué)》的封面。

沒錯，就是那個潛入10次編程比賽并打出代碼，得分超過人類一半的編程AI。

并且在這篇新更新的論文中，DeepMind還首次透露了AlphaCode的一次通過率:66%。

也就是說，AlphaCode近三分之二的投稿都是AC。

CMU博世人工智能中心教授j·濟科·科爾特的最新綜述文章也發(fā)表在這一期《科學(xué)》雜志上。他認為:

AlphaCode不只是復(fù)制現(xiàn)有的解決方案。

當(dāng)面對從未見過的編程問題時，它表現(xiàn)得非常好，不管它有多理解這項任務(wù)。

在DeepMind的官方推特下，還有很多人把AlphaCode和現(xiàn)在流行的炸雞ChatGPT聯(lián)系在一起。

有人迫不及待地想看到他們兩人同臺演出:

一次通過率66%

盡管是AI編程領(lǐng)域，GitHub的Copilot還是快進到了收費模式，甚至和程序員法庭上見。

但在DeepMind看來，AlphaCode就大不一樣了。

一方面，編程比賽本身對于AI來說是一個比純編程更復(fù)雜的任務(wù)，關(guān)鍵是為不可預(yù)見的問題構(gòu)建解決方案。

另一方面，在架構(gòu)方面，AlphaCode采用不同的機制對競賽題的文本進行編碼。

值得一提的是，AlphaCode玩的10場編程比賽都是來自Codeforces。

相比其他算法和數(shù)據(jù)結(jié)構(gòu)的編程競賽，Codeforces更傾向于考察思維能力，也就是說AI不能僅僅通過反點來完成挑戰(zhàn)。

例如，這是Codeforces上1553D問題的描述:

有兩個字符串S和T，都是由小寫字母組成的對于字符串S，我們從前到后掃描整個字符串

如果按下退格鍵，從光標前面到前一個取消刪除字符的所有字符都將被刪除。

也就是說，假設(shè)字符串S是abcbd，你分別在第一個位置和第四個位置按Backspace，那么就會得到字符串bd。

因為第一個光標位置之前沒有字符，所以第一次沒有動作第四個光標位置之前的字符是C，最后一個未刪除的字符是A，所以按Backspace會刪除前三個字符bd

對于這個前提，我們需要解決以下幾個問題:

能不能把S串從前到后掃描一次讓S變成T如果可能，輸出YES，否則，輸出no

為了解決這個問題，AlphaCode給出了以下解決方案:

然后，我們只需要給出輸入的字符串編號和具體的字符串內(nèi)容，這樣程序就可以輸出相應(yīng)的結(jié)果:

第一組是亞貝巴，第二組是亞貝巴，第三組是aaa，第四組是aababa。

這個程序的輸出結(jié)果分別是YES，NO，NO，YES。

在解決問題的過程中，AlphaCode的解決問題的思路不再是黑箱。

它不僅成功地解決了問題，還顯示了代碼的相應(yīng)位置和注意亮點:

以上只是AlphaCode解決的問題之一。

總體而言，在Codeforces平臺舉辦的編程競賽模擬評測中，AlphaCode在平均參賽人數(shù)超過5000人的競賽中排名前54.3%——擊敗了一半的參賽者。

而第一次提交的概率是66%。

AlphaCode如何讀取銘文代碼

那么，AlphaCode是靠什么原理取得這種勝利的呢。

它仍然基于預(yù)訓(xùn)練—微調(diào)范式，采用Transformer架構(gòu)，其中編碼器具有讀能力，解碼器具有寫能力。

發(fā)表在《科學(xué)》上的這篇論文也給出了更直觀的示意圖，并以Python為案例講解了具體的訓(xùn)練過程。

在預(yù)訓(xùn)練期間，研究人員會在GitHub上整理出各種代碼集，并將其喂給AlphaCode上的編碼器和解碼器。

以Python上的print為例，其中print是一個常用函數(shù)，即printout，hello是需要打印出來的具體內(nèi)容。

經(jīng)過預(yù)訓(xùn)練，模型具備了按指令完成任務(wù)的基本要求，其中編碼器負責(zé)生成指令，解碼器負責(zé)填充其余部分。

在微調(diào)環(huán)節(jié)，研究人員會對競技編程比賽的數(shù)據(jù)集進行整理，包括問題和解決方案，以煉金和磨煉為訓(xùn)練目標，進一步縮小搜索空間。

其中，問題以注釋#的形式交給編碼者學(xué)習(xí)，解決方案交給解碼者嘗試理解:

經(jīng)過微調(diào)后，解碼器知道如何通過編碼器生成注釋來嘗試輸出相應(yīng)的代碼。

經(jīng)過前期訓(xùn)練——微調(diào)，就到了最后的測評環(huán)節(jié)。

Codeforces的標題會以注釋的形式直接給編碼者，解碼者會嘗試輸出數(shù)百萬個不同的程序在對它們進行過濾和聚類之后，它將提交其中的10個來解決問題

對于AlphaCode的出現(xiàn)，有程序員調(diào)侃說可以在藝人旁邊排隊領(lǐng)救濟糧了。

不過，DeepMind對于AlphaCode的官方口吻并不是AI程序員，而是希望它以輔助角色的身份出現(xiàn)在編程工作中:

我們希望它可以作為軟件開發(fā)人員的助手，尤其是那些編程基礎(chǔ)為0的人。

論文地址:

參考鏈接:

。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。