聲明：本文來自微信公眾號“量子位”（ID:QbitAI），作者:衡宇，，授權(quán)轉(zhuǎn)載發(fā)布。

最近的谷歌像個大漏勺，這不，又有AIGC核心成員聯(lián)手跑路咯!

量子位獨家獲悉，這回跟谷歌say byebye的，是文生圖核心團(tuán)隊——AI繪畫模型Imagen論文的四位核心作者，出走目的是要搞自己的AI公司。雖然公司名稱暫未對外公布，但新公司將一以貫之的路線是很清楚的:

以Imagen為基礎(chǔ)，沿著原來的項目做下去，不僅繼續(xù)做文生圖，還要做視頻方向。

核心人才創(chuàng)業(yè)，自然少不了VC塞錢——已經(jīng)按1億美元的驚人天使估值完成了首輪融資，而且更多VC想給錢而趕不上、投不進(jìn)。

這也算是文生圖、文生視頻、AIGC賽道上，最知名的研究團(tuán)隊之一了。

新公司聯(lián)創(chuàng)四人，Chitwan Saharia、William Chan、Jonathan Ho以及Mohammad Norouzi，都出自谷歌。

他們之前精力重點放在AIGC的文生圖板塊，是谷歌用來對抗DALLE-2的大殺器Imagen的論文共同作者，位置都挺重要的那種。

先來介紹一下Chitwan Saharia，也是Imagen的共同一作。

Chitwan本科畢業(yè)于孟買理工學(xué)院計算機科學(xué)與工程專業(yè)，在孟買理工學(xué)院和蒙特利爾大學(xué)都當(dāng)過程序和算法方面的研究助理。2019年加入谷歌，base多倫多，花了3年時間從二級軟件工程師做到高級研究科學(xué)家，去年12月從谷歌離職。

Chitwan有語音識別、機器翻譯的經(jīng)驗，在谷歌工作時，主要負(fù)責(zé)領(lǐng)導(dǎo)image-to-image擴散模型的工作。

第二位William Chan，也是Imagen論文共同一作。他同樣出身計算機工程，先后就讀于加拿大滑鐵盧大學(xué)、卡內(nèi)基梅隆大學(xué)，中間在新加坡國立大學(xué)當(dāng)過1年交換生。

在卡內(nèi)基梅隆大學(xué)拿下博士學(xué)位后，William還在加拿大最大的社區(qū)學(xué)院之一喬治布朗學(xué)院，主攻烘焙和烹飪（?），學(xué)了3年。

Willian從2012年起加入谷歌，于2016年成為谷歌大腦的一份子，去年5月離職時，他已經(jīng)是谷歌大腦多倫多的研究科學(xué)家了。

然后要介紹的是Jonathan Ho，UC伯克利博士畢業(yè)。

他不僅是Imagen論文的core contribution，還是Diffusion Model奠基之作《Denoising Diffusion Probabilistic Models》的一作。

博士畢業(yè)于UC伯克利計算機科學(xué)專業(yè)的Jonathan，之前在OpenAI當(dāng)過1年的研究科學(xué)家，后來在2019年加入谷歌，共工作了2年零8個月，去年11月以研究科學(xué)家的身份從谷歌離職。

新公司的最后一位聯(lián)創(chuàng)叫Mohammad Norouzi，也是Imagen論文的共同一作。

他在多倫多大學(xué)計算機科學(xué)博士就讀期間，拿到了谷歌ML博士獎學(xué)金。畢業(yè)后他加入谷歌大腦，在那兒工作了7年，在谷歌的最后title是高級研究科學(xué)家，工作重點是生成模型。

同時，Mohammad也是谷歌神經(jīng)機器翻譯團(tuán)隊的原始成員，SimCLR的聯(lián)合發(fā)明人。他在GitHub主頁上小小地透露了自己的最近動態(tài):

目前，我在一家初創(chuàng)公司工作，公司使命是推進(jìn)人工智能的發(fā)展水平，幫助人類提高創(chuàng)造力。我們正在招聘!

這句話以外，關(guān)于新公司的更多信息，四人在任何社交平臺都沒有更詳細(xì)的透露。

這已經(jīng)是谷歌最近漏出去的第n波人了。

就拿剛剛過去的2個月來說，先是包括顧世翔（Shane Gu，‘讓我們一步一步地思考’研究者）在內(nèi)的至少4名谷歌大腦成員加入OpenAI;情人節(jié)時，Hyung Won Chung和CoT最早的一作Jason Wei攜手組團(tuán)叛逃OpenAI。

本周三，您猜怎么著?嘿，又跑了一個:

OpenAI狂喜，只有谷歌大漏勺本勺受傷的世界誕生了。

了解完谷歌漏走的這四個人，回頭來說說為他們職業(yè)生涯贏得掌聲的Imagen項目。

Imagen是谷歌發(fā)布的文生圖模型，發(fā)布時間在DALL-E2新鮮出爐一個月以后。

本文開頭放的熊貓震驚表情包，就是朝Imagen輸入“一只非常快樂的毛茸熊貓打扮成了在廚房里做面團(tuán)的廚師的高對比度畫像，他身后的墻上還有一幅畫了鮮花的畫”后，得出的一張要素完備的AI生成畫作。

在Imagen出現(xiàn)之前，文生圖都共用一個套路，那就是CLIP負(fù)責(zé)從文本特征映射到圖像特征，然后指導(dǎo)一個GAN或Diffusion Model生成圖像。

Imagen不走尋常路，開辟了text-to-image新范式:

純語言模型只負(fù)責(zé)編碼文本特征，具體text-to-image的工作，被Imagen丟給了圖像生成模型。

具體來講，Imagen包含一個凍結(jié)的語言模型T5-XXL（谷歌自家出品），當(dāng)作文本編碼器。T5-XXL的C4訓(xùn)練集包含800GB的純文本語料，在文本理解能力上比CLIP強不少，因為后者只用有限圖文對訓(xùn)練。

圖像生成部分則用了一系列擴散模型，先生成低分辨率圖像，再逐級超采樣。

依賴于新的采樣技術(shù)，Imagen允許使用大的引導(dǎo)權(quán)重，所以不會像原有工作一樣使樣本質(zhì)量下降。這么一來，圖像具有更高的保真度，并且能更好地完成圖像-文本對齊。

概念說起來簡單，但I(xiàn)magen的效果還是令人大為震撼的。

生成的狗子飆車技術(shù)一流:

比起爆火的DALLE-2，Imagen能更準(zhǔn)確地理解同時出現(xiàn)兩個顏色要求的情況:

一邊繪畫一邊寫字這種要求，Imagen也成功完成，不僅寫得對，還能加光影魔術(shù)手般的煙花特效（不是）。

以及對后來研究更有幫助的是，谷歌通過Imagen的研究，優(yōu)化了擴散模型。

首先，增加無分類器引導(dǎo)（classifier-free guidance）的權(quán)重可以改善圖文對齊，同時卻會損害圖像保真度。

為了解決這個bug，在每一步采樣時引入動態(tài)閾值（dynamic thresholding）這個新的新的擴散采樣技術(shù)，來防止過飽和。

第二，使用高引導(dǎo)權(quán)重的同時在低分辨率圖像上增加噪聲，可以改善擴散模型多樣性不足的問題。

第三，對擴散模型的經(jīng)典結(jié)構(gòu)U-Net做了改進(jìn)，變成了Efficient U-Net。后者改善了內(nèi)存使用效率、收斂速度和推理時間。

后來在Imagen上微調(diào)，谷歌還推出了能“指哪打哪”版本的文生圖模型DreamBooth。只需上傳3-5張指定物體的照片，再用文字描述想要生成的背景、動作或表情，就能讓指定物體“閃現(xiàn)”到你想要的場景中。

比如醬嬸兒的:

又或者醬嬸兒的:

大概是Imagen效果太過出色，劈柴哥后來親自宣發(fā)的谷歌AI生成視頻選手大將，就叫做“Imagen Video”，能生成1280*768分辨率、每秒24幀的視頻片段。

啊，等等，谷歌有Imagen Vedio，這和四人的新公司不是撞方向了嗎?

仔細(xì)看了下論文，無論是Imagen還是Imagen Video，各自都有大篇幅涉及風(fēng)險、社會影響力的內(nèi)容。

出于安全、AI倫理和公平性等方面考慮，Imagen和Imagen Vedio都沒有直接開源或開放API，甚至連demo都沒有。

哪怕市面上出現(xiàn)開源復(fù)刻版本，也不是最正宗的味道。

此前就曝出過在谷歌每年的內(nèi)部員工調(diào)查“Googlegeist”中，員工表示對谷歌執(zhí)行能力不佳的質(zhì)疑。也許，這四人出走，繼續(xù)做Imagen，并做Imagen的視頻版，說不定就是為了想把項目放到一個更開放的AI環(huán)境。

而且這種出走創(chuàng)業(yè)，也是熱錢大錢向AIGC洶涌的結(jié)果。

所以既然AIGC的創(chuàng)投熱潮已經(jīng)在太平洋那頭開啟，那應(yīng)該在太平洋這頭也不會悄無聲息。

或許你已經(jīng)聽說了一些同樣的大廠出走創(chuàng)業(yè)，歡迎爆料說說~~