之前把普通照片變成二次元畫(huà)風(fēng)的各種 AI,大家或多或少都了解過(guò):
又或者是讓 AI 創(chuàng)造一個(gè)真實(shí)的美女:
近期外國(guó)知名視頻特效團(tuán)隊(duì) Corridor 就整了一個(gè)狠活兒,AI 在他們手中要?jiǎng)?chuàng)作的不再是一幅畫(huà),而是要讓畫(huà)面組成一個(gè)完成的動(dòng)畫(huà)。例如下面這個(gè)片段,其實(shí)就是 AI 照著真人繪制的:
動(dòng)畫(huà)中兩位王子進(jìn)行了了一場(chǎng)慘烈的決斗,而方式竟然是「剪刀石頭布」!雖然沙雕,但這畫(huà)面確實(shí)夠熱血的:
看不出來(lái)是 AI 做的?可以對(duì)比一下真人鏡頭,簡(jiǎn)直完美同步,無(wú)縫切換:
畫(huà)面干凈,表情生動(dòng),沒(méi)有鬼畜,甚至畫(huà)風(fēng)還有點(diǎn)經(jīng)典。就好像是有一個(gè)動(dòng)畫(huà)團(tuán)隊(duì)用畫(huà)筆照著現(xiàn)實(shí)中的人物繪制了一幅幅畫(huà)面。但其實(shí) Corridor 僅僅用到了四五個(gè)人,而且他們壓根也都不會(huì)制作動(dòng)畫(huà)。
可以想象一下,AI 先是讓你能從 0 基礎(chǔ)變成畫(huà)師,現(xiàn)在又有可能變成動(dòng)畫(huà)制作者,聽(tīng)起來(lái)創(chuàng)作更加輕松自由,這就有點(diǎn)科幻了。
所以,他們到底是怎么做的?
整個(gè)步驟簡(jiǎn)單來(lái)說(shuō),就是先讓真人演一下,然后讓 AI 把真人視頻弄成動(dòng)畫(huà)版本。當(dāng)然這個(gè)過(guò)程說(shuō)起來(lái)容易,做起來(lái)復(fù)雜。
他們使用的工具是我們之前介紹過(guò)的 Stable Diffusion,關(guān)鍵詞給到 AI,根據(jù)你添加的模板,它能幫忙生成各種風(fēng)格的畫(huà)面。
而想做視頻首先要解決的問(wèn)題,就是畫(huà)面的不穩(wěn)定性。
因?yàn)槊恳粠漠?huà)面不同,AI 生成的畫(huà)面也會(huì)有明顯差異。例如之前網(wǎng)友制作的「塞爾達(dá)風(fēng)格侏羅紀(jì)公園」,作品已經(jīng)相當(dāng)流暢,但依然可以看出人物本身都在飛速變化,發(fā)型不斷改變。
所以 Corridor 先嘗試在幾幀內(nèi)固定了畫(huà)面風(fēng)格,以此來(lái)讓畫(huà)面大體穩(wěn)定住,不要變動(dòng)得太離譜。
但此時(shí)人物風(fēng)格依然在不斷轉(zhuǎn)變,比如每張圖中,角色的眼睛大小、畫(huà)風(fēng)都會(huì)更換,甚至有時(shí)候戴眼鏡有時(shí)候不戴。
為了解決這個(gè)問(wèn)題,就要用到一個(gè)固定的模型,統(tǒng)一畫(huà)風(fēng),讓 AI 別想太多。
于是他們用《吸血鬼獵人 D》的畫(huà)面對(duì) AI 進(jìn)行訓(xùn)練,使用的截圖包括各種面部特寫(xiě)、肢體、身體等等:
這樣一來(lái),生成的畫(huà)面都是以這部動(dòng)畫(huà)為基礎(chǔ),眼睛也就不會(huì)忽大忽小了。
同時(shí)還要解決一個(gè)問(wèn)題,那就是臉部的細(xì)節(jié)依然不穩(wěn)定,而處理這個(gè)問(wèn)題的方法,就是同時(shí)訓(xùn)練一個(gè)演員自己的真人模型。需要演員穿上戲服,然后多角度瘋狂拍照,給 AI 制作素材。
經(jīng)過(guò)訓(xùn)練的 AI 也可以生成演員的圖像,只不過(guò)手指頭偶爾還是殘缺的。
接著還需要繼續(xù)訓(xùn)練,用演員的照片生成動(dòng)畫(huà)形象,不斷迭代,最終才有了比較滿意且穩(wěn)定的動(dòng)畫(huà)形象。
在多重訓(xùn)練的加持下,動(dòng)畫(huà)的效果也就變得理想了一些,畫(huà)面的統(tǒng)一性基本穩(wěn)定下來(lái)了:
再用上視頻特效技術(shù)減少閃爍,畫(huà)面由此變得更加驚艷,人物的情緒飽滿,動(dòng)作連貫而且流暢:
再加一些漫畫(huà)特效,你說(shuō)這是某部動(dòng)畫(huà)里剪輯出來(lái)的片段都沒(méi)問(wèn)題。
接下來(lái)他們要給自己的動(dòng)畫(huà)設(shè)計(jì)故事情節(jié)與背景:「國(guó)王死了,兩個(gè)王子要用石頭剪刀布爭(zhēng)奪王位」,這劇情聽(tīng)著都像是 AI 寫(xiě)的。
技術(shù)有了,故事腳本有了,接下來(lái)開(kāi)始正式制作。例如開(kāi)始配音,雖然沒(méi)有畫(huà)面,但幾位老哥還是吼到聲嘶力竭。
之后就是從網(wǎng)上搞一下服裝,兩個(gè)主演穿上就去拍戲了。
真人視頻拍好就交給 AI 處理畫(huà)面,同時(shí)加入各種細(xì)節(jié)對(duì)畫(huà)面進(jìn)行調(diào)整。
于是現(xiàn)實(shí)中的各種演出,就這樣被 AI 一點(diǎn)點(diǎn)給動(dòng)畫(huà)化了。
把綠幕摳掉,人物素材就基本完成。
然后把圖喂給 AI,再生成一大堆的背景圖。
接下來(lái)就是對(duì)視頻的整合與進(jìn)一步處理,包括鏡頭、衣服、光線的變化等等。
例如讓背景平移,這樣鏡頭看起來(lái)像是在旋轉(zhuǎn),動(dòng)態(tài)感就有了:
人物與背景相結(jié)合,最后輸出成動(dòng)畫(huà):
在動(dòng)畫(huà)中,甚至一些微表情也能對(duì)照真人進(jìn)行還原,眼角的跳動(dòng),嘴角的抽搐,真人怎么做,AI 就怎么畫(huà):
石頭剪刀布搞得像是放出了殺招一樣,看著又尬又好玩:
這樣的制作,已經(jīng)完全脫離 AI 畫(huà)圖的感覺(jué)了。
這部動(dòng)畫(huà)在推出后目前已經(jīng)有了超過(guò) 200 萬(wàn)的播放量,并引發(fā)了激烈討論。
大多數(shù)人的觀點(diǎn)再次認(rèn)為,AI 將引發(fā)新一輪的革命,要失業(yè)的感覺(jué)籠罩了不少網(wǎng)友。
但也有人指出,AI 的成本并不比畫(huà)師的工作量小。
首先,Corridor 是一個(gè)極為專業(yè)的特效團(tuán)隊(duì),每個(gè)人都能力出眾。以前惡搞波士頓動(dòng)力機(jī)器人反殺人類的視頻就出自他們之手,當(dāng)時(shí)很多人對(duì)此都真假難分。
所以與其說(shuō)是 AI 生成得好,不如說(shuō)他們本身就拍得好,花了兩個(gè)月才有了動(dòng)畫(huà)的精彩演出,普通人想要這樣操作還有點(diǎn)遙遠(yuǎn)。
同時(shí)畫(huà)風(fēng)也是鎖死的,因?yàn)樗麄兊膭?dòng)畫(huà)是根據(jù)真人來(lái)制作的,所以畫(huà)風(fēng)也貼近寫(xiě)實(shí),如果畫(huà)風(fēng)再夸張一點(diǎn)效果可能又會(huì)變得不理想。
最后爭(zhēng)論的就是版權(quán)問(wèn)題,不少畫(huà)師還是很抵觸自己的作品被喂給 AI 的。
但想要完全脫離畫(huà)師制作動(dòng)畫(huà)也不現(xiàn)實(shí),像是這次的制作就還是使用了《吸血鬼獵人 D》的畫(huà)面進(jìn)行訓(xùn)練,想讓 AI 完全自己繪制還是兩個(gè)概念。
對(duì)此也有人指出,只要工具好用,動(dòng)畫(huà)公司會(huì)自己搞定版權(quán),最后受傷的只有普通打工人。
話說(shuō)回來(lái),我還是對(duì) AI 的成長(zhǎng)充滿期待。
按照這個(gè)進(jìn)化趨勢(shì),以后把一部電視劇喂給 AI,說(shuō)不定也能輕松輸出一部動(dòng)畫(huà)版本。一想到這里,這下不得不期待了。
參考資料:
鄭重聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,目的在于傳播更多信息,與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
2023年2月15日,湯臣倍健與美團(tuán)買(mǎi)藥在北京舉辦了2023
2021年收入增長(zhǎng)目標(biāo)應(yīng)能確保實(shí)現(xiàn),2022年收入增長(zhǎng)預(yù)計(jì)將
具體來(lái)看,一是簡(jiǎn)化業(yè)務(wù)流程和材料,便利北京冬奧會(huì)相關(guān)區(qū)域內(nèi)境
炒股就看金麒麟分析師研報(bào),權(quán)威,專業(yè),及時(shí),全面,助您挖掘潛
,據(jù)索尼官方消息,新星粉,銀河紫,星光藍(lán),三款全新配色Dua
,新氧數(shù)據(jù)顏究院發(fā)布《2021醫(yī)美行業(yè)白皮書(shū)》,白皮書(shū)顯示,