，Meta 在當(dāng)?shù)貢r(shí)間周五宣布，它將推出一種針對(duì)研究社區(qū)的基于人工智能 的新型大型語(yǔ)言模型，與微軟、谷歌等一眾受到 ChatGPT 刺激的公司一同加入人工智能競(jìng)賽。

Meta 的 LLaMA 是“大型語(yǔ)言模型 Meta AI”的縮寫(xiě)，它可以在非商業(yè)許可下提供給政府、社區(qū)和學(xué)術(shù)界的研究人員和實(shí)體工作者。

該公司將提供底層代碼供用戶使用，因此用戶可以自行調(diào)整模型，并將其用于與研究相關(guān)的用例。Meta 表示，該模型對(duì)算力的要求“低得多”。

據(jù)介紹，該公司正在開(kāi)發(fā)多種參數(shù)的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在1.4 萬(wàn)億個(gè) tokens上訓(xùn)練，而最小的模型 LLaMA 7B 也經(jīng)過(guò)了1 萬(wàn)億個(gè) tokens 的訓(xùn)練。

與其他大型語(yǔ)言模型一樣，LLaMA 的工作原理是將一系列單詞作為“輸入”并預(yù)測(cè)下一個(gè)單詞以遞歸生成文本。為了這套模型，Meta 從使用人數(shù)最多的 20 種語(yǔ)言中選擇文本進(jìn)行訓(xùn)練，重點(diǎn)是拉丁語(yǔ)和西里爾字母。

當(dāng)然，與其他模型一樣，LLaMA 也面臨著偏見(jiàn)、有毒評(píng)論和幻覺(jué)的挑戰(zhàn)，Meta 還需要做更多的研究來(lái)解決這類語(yǔ)言模型中的不足。

Meta 表示，LLaMA作為一個(gè)基礎(chǔ)模型被設(shè)計(jì)成多功能的，可以應(yīng)用于許多不同的用例，而不是為特定任務(wù)設(shè)計(jì)的微調(diào)模型。通過(guò)開(kāi)源 LLaMA 的代碼，其他研究人員可以更輕松地找到限制或消除這些問(wèn)題的新方法。Meta 還在本文中提供了一組評(píng)估模型偏差和毒性的基準(zhǔn)評(píng)估標(biāo)準(zhǔn)，以顯示模型的局限性并支持研究人員在這一關(guān)鍵領(lǐng)域的進(jìn)一步研究。

值得一提的是，Meta 在去年 5 月也曾推出過(guò)大型語(yǔ)言模型 OPT-175B。該項(xiàng)目同樣也是針對(duì)研究人員的，這構(gòu)成了其聊天機(jī)器人 blenterbot 新迭代的基礎(chǔ)。

后來(lái)，該公司還推出了一款名為“卡拉狄加” 的模型，據(jù)稱它可以撰寫(xiě)科學(xué)文章和解決數(shù)學(xué)問(wèn)題，但其演示版本后來(lái)被下架，因?yàn)樗磸?fù)生成“聽(tīng)起來(lái)很權(quán)威”的內(nèi)容。

IT之家附官方鏈接:

• Github

• 申請(qǐng)?jiān)L問(wèn) LLaMA

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。