OpenAI剛剛推出的年末新作GLIDE，又讓擴(kuò)散模型小火了一把。

這個(gè)基于擴(kuò)散模型的文本圖像生成大模型參數(shù)規(guī)模更小，但生成的圖像質(zhì)量卻更高。

于是，依舊是OpenAI出品，論文標(biāo)題就直接號(hào)稱(chēng)在圖像生成上打敗GAN的ADM—G模型也重新進(jìn)入了大眾眼中:

光看Papers with Code上基于ImageNet數(shù)據(jù)集的圖像生成模型榜單，從64 x 64到512 x 512分辨率都由這一模型占據(jù)榜首:

對(duì)比曾號(hào)稱(chēng)史上最強(qiáng)圖像生成器的BigGAN—deep也不落下風(fēng)，甚至還能在LSUN和ImageNet 64 times， 64的圖像生成效果上達(dá)到SOTA。

有網(wǎng)友對(duì)此感嘆:前幾年圖像生成領(lǐng)域一直由GAN主導(dǎo)，現(xiàn)在看來(lái)，似乎要變成擴(kuò)散模型了。

我們先來(lái)看看擴(kuò)散模型的定義。

這是一種新的圖像生成的方法，其名字中的擴(kuò)散本質(zhì)上是一個(gè)迭代過(guò)程。

具體到推理中，就是從一幅完全由噪聲構(gòu)成的圖像開(kāi)始，通過(guò)預(yù)測(cè)每個(gè)步驟濾除的噪聲，迭代去噪得到一個(gè)高質(zhì)量的樣本，然后再逐步添加更多的細(xì)節(jié)。

而OpenAI的這個(gè)ADM—G模型，則是在此基礎(chǔ)上向圖像生成任務(wù)中加入了類(lèi)別條件，形成了一種獨(dú)特的消融擴(kuò)散模型。

研究人員分別從以下幾個(gè)方面做了改進(jìn):

基本架構(gòu)

基于UNet結(jié)構(gòu)做了五點(diǎn)改進(jìn):

在噪聲逐步轉(zhuǎn)換到信號(hào)的過(guò)程中，研究人員引入了一個(gè)預(yù)先訓(xùn)練好的分類(lèi)網(wǎng)絡(luò)。

之后，再基于分類(lèi)分?jǐn)?shù)和目標(biāo)類(lèi)別之間的交叉熵?fù)p失計(jì)算梯度，用梯度引導(dǎo)下一步的生成采樣。

縮放分類(lèi)梯度

按超參數(shù)縮放分類(lèi)網(wǎng)絡(luò)梯度，以此來(lái)控制生成圖像的多樣性和精度。

比如像這樣，左邊是1.0規(guī)模大小的分類(lèi)網(wǎng)絡(luò)，右邊是10.0大小的分類(lèi)網(wǎng)絡(luò)，可以看到，右邊的生成圖像明顯類(lèi)別更加一致:

也就是說(shuō)，分類(lèi)網(wǎng)絡(luò)梯度越高，類(lèi)別就越一致，精度也越高，而同時(shí)多樣性也會(huì)變小。

生成領(lǐng)域的新熱點(diǎn)

目前，這一模型在GitHub上已有近千標(biāo)星:

而與GAN比起來(lái)，擴(kuò)散模型生成的圖像還更多樣，更復(fù)雜。

基于同樣的訓(xùn)練數(shù)據(jù)集時(shí)，擴(kuò)散模型可以生成擁有全景，局部特寫(xiě)，不同角度的圖像:

左:BigGAN—deep 右:ADM

其實(shí)，自2020年谷歌發(fā)表DDPM后，擴(kuò)散模型就逐漸成為了生成領(lǐng)域的一個(gè)新熱點(diǎn)，

除了文章中提到的OpenAI的兩篇論文之外，還有Semantic Guidence Diffusion，Classifier—Free Diffusion Guidence等多個(gè)基于擴(kuò)散模型設(shè)計(jì)的生成模型。

擴(kuò)散模型接下來(lái)還會(huì)在視覺(jué)任務(wù)上有哪些新的應(yīng)用呢，我們來(lái)年再看。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。