多模態(tài)AI層出不窮谷歌放連招最新文生圖模型“拍死前浪”
《科創(chuàng)板日?qǐng)?bào)》12月14日訊(編輯 宋子喬) 多模態(tài)AI年末有多卷?谷歌用實(shí)際行動(dòng)回答你。
12月6日,谷歌上線原生多模態(tài)大模型Gemini單挑GPT-4,隨即其媲美Gen-2、比肩Pika的文生視頻模型W.A.L.T面世。就在12月14日,谷歌又上線了文生圖模型Imagen 2,該模型被稱(chēng)為DALL?E 3和和Midjourney的最強(qiáng)競(jìng)品。
在多模態(tài)這條路上,谷歌已全面出擊。
據(jù)谷歌介紹,基于谷歌最先進(jìn)的文本到圖像擴(kuò)散技術(shù),Imagen 2不需要復(fù)雜、專(zhuān)業(yè)的提示詞,可根據(jù)自然語(yǔ)言提示生成高質(zhì)量、逼真、高分辨率、美觀的圖像;具備強(qiáng)大的圖像理解能力,可進(jìn)行視覺(jué)問(wèn)答,即為圖像創(chuàng)建詳細(xì)的長(zhǎng)文標(biāo)注,并對(duì)圖像內(nèi)元素提出的問(wèn)題給出詳細(xì)答案;可理解復(fù)雜抽象的概念(如詩(shī)歌、文學(xué)作品),并將這些描寫(xiě)可視化。
效果如何?
一直以來(lái),AI繪畫(huà)的一個(gè)缺陷在于不會(huì)畫(huà)“手”,而Imagen 2的數(shù)據(jù)集和模型進(jìn)步,讓其能夠生成逼真的手部和臉部圖像,且對(duì)光線的處理堪稱(chēng)完美。
Imagen 2生成的手部和人臉示例提示詞:A shot of a 32-year-old female, up and coming conservationist in a jungle; athleticwith short, curly hair and a warm smile(一位32歲的年輕女性自然保護(hù)主義者,正在叢林中探險(xiǎn)。她體格健壯,一頭短卷發(fā),面帶親切的微笑)提示詞:a french bulldog at the beach(海灘上的一只法國(guó)斗牛犬)在理解抽象的文學(xué)作品上,Imagen 2同樣出色,精確表述出了藏于文字中的意境之美。
提示詞是美國(guó)作家Phillis Wheatley《晚間贊美詩(shī)》中的一句話(huà)“溪流潺潺,鳥(niǎo)兒啁啾,空中飄蕩著它們混合的音樂(lè)”。提示詞是小說(shuō)《白鯨記》的一段文字“想象一下大海的微妙之處,最可怕的地方在于生物如何在水下滑行,卻在大多數(shù)情況下不易察覺(jué),并且詭譎地隱藏在最可愛(ài)的蔚藍(lán)色調(diào)下”。提示詞是《秘密花園》中對(duì)知更鳥(niǎo)的描述:知更鳥(niǎo)從纏繞的常春藤上飛到墻頭,張開(kāi)嘴巴,唱出了一個(gè)響亮而甜美的顫音,只是為了炫耀自己。世界上就沒(méi)有什么東西能比它更惹人喜愛(ài)了——它們幾乎總是這樣做。Imagen 2還有哪些亮點(diǎn)?
功能上,Imagen 2還支持圖像編輯功能,如修復(fù)(inpainting)和擴(kuò)圖(outpainting)。
用inpainting技術(shù)直接在原始圖像中生成新內(nèi)容Imagen 2的AI擴(kuò)圖功能除了英語(yǔ)之外,Imagen 2還支持另外六種語(yǔ)言(中文、印地語(yǔ)、日語(yǔ)、韓語(yǔ)、葡萄牙語(yǔ)、西班牙語(yǔ)),另有許多其他語(yǔ)言計(jì)劃于2024年初接入該模型。
應(yīng)用上,谷歌有意強(qiáng)調(diào)了Imagen 2的營(yíng)銷(xiāo)用途——該模型可用于logo生成、制作商品廣告頁(yè)。
Imagen 2可以在生成含有特定文字或短語(yǔ)的物體圖像時(shí),確保輸出圖像中包含正確短語(yǔ)Imagen 2能為品牌、產(chǎn)品等生成多種創(chuàng)意和逼真的Logo安全性上,Imagen 2集成了SynthID——用于加水印和識(shí)別 AI 生成內(nèi)容的工具包,其生成的圖片可添加不可見(jiàn)的數(shù)字水印;Imagen 2接受了數(shù)據(jù)安全訓(xùn)練,內(nèi)嵌安全過(guò)濾器可防止生成潛在有害內(nèi)容,如暴力、冒犯或色情內(nèi)容。
值得注意的是,Imagen 2目前并沒(méi)有向所有人開(kāi)放,僅供許可名單上的Vertex AI客戶(hù)使用。Vertex AI是谷歌云上集成多種工具的托管式AI平臺(tái),可以理解為谷歌為客戶(hù)提供的AI應(yīng)用訓(xùn)練場(chǎng)。
這正體現(xiàn)了谷歌在AI業(yè)務(wù)上的戰(zhàn)略——依托谷歌云打造AI生態(tài),更多地面向開(kāi)發(fā)者。在8月份的谷歌云Next大會(huì)上,谷歌云的CEO透露,自從今年年初Vertex AI支持生成式AI技術(shù),Vertex AI用戶(hù)數(shù)量同比增長(zhǎng)了15倍以上。
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴(lài)本文觀點(diǎn)而產(chǎn)生的任何金錢(qián)損失負(fù)任何責(zé)任。