注意看,你面前是一堵平平無奇的墻。
現在,你可以按照自己的意愿,讓它直接憑空長出點東西來。
比如……一只小貓咪?

沒錯,Stable Diffusion 又可以搞新花活了!
這一次的重點在于,Stable Diffusion 的觸手擴展到現實世界——和 WebAR 相結合。
作者是個軟件工程師小哥 Stijn Spanhove,經常在推特主頁發些關于 WebAR 或 XR 的視頻。
目前,這條憑空長貓的視頻熱度還挺不錯。

新世界的大門打開,有網友對 AR+SD 的興趣更濃了:

還有人說:
這簡直就是《反恐精英》一個酷斃了的新版本啊!

一起來看看這個有點酷的新東西吧~
SD 與 AR 一起玩
首先,拿起手機,然后隨意選擇一堵墻,透過屏幕界面鎖定它:

選定一塊心儀區域,把它圈起來,全部涂黑。

輸入提示詞:
一只可可愛愛的小貓咪,涂鴉風格,數字藝術
接著點擊輸入框下方的 Diffusion 按鈕,直接快進到見證奇跡的時刻。

此時,無論從哪個角度看,墻上都有一幅《喵娜麗莎》在微笑地看著你了。
這個視頻,是小哥利用火到沒邊、門檻又低的 Stable Diffusion,結合 WebAR,搞出的第一個實驗產品。
他在評論區和圍觀網友討論了具體的工作流程。
第一步,凍結幀,把它作為生成圖像的表面紋理,并讓它擁有世界定位和設備跟蹤相機。
第二步,向服務器發送 API 請求,并附上凍結幀(圖像)和文本提示(Stable Diffusion)。
整個工作中,將 Stable Diffusion 嵌入現實世界是利用 AR完成的。
關于繪制紋理,小哥則使用了Raycast(一款完全可擴展的快捷啟動器)。
整個過程簡單利落,引發了網友新的思考。
目前有很多有趣的 NPU(嵌入式神經網絡處理器)硬件,手機的共享內存也超過 12GB。
在這個前提下,如果 Stable Diffusion 和 AR 一起玩這個工作能在本地運行,并且能夠快到在類似的請求時間內,完成整個 512x512 圖像生成,并在更快的 AI 上運行升級,一定非常有趣。

小哥自己也說,這個工作只是初嘗試,一切只是 Stable Diffusion 和 AR 結合的開始。
但大多數網友覺得這已經是個很有趣的工作了,甚至想在上面 " 亂涂亂畫 " 好幾個小時。

AIGC 打破次元壁
Stable Diffusion 的風吹進現實世界,絕不是小哥一個人的想法。
具體的操作流程,基本都是在原基礎上用 AR 加持。
就在這幾天,另一位小哥用 Stable Diffusion,搞了個視頻透視式光學透視式眼鏡。
(擱這兒疊 buff 呢?)
具體來說,就是小哥用 Stable Diffusion 做了個虛擬的 AR 眼鏡,然后在手機屏幕上透過眼鏡鏡片,實現 AR 效果。

生成的虛擬 AR 眼睛不僅有電量提示,透過它看現實,能呈現西部世界、叢林、異形等多種畫面風格。
此外,還有人結合 Meta 旗下的 AR 創作工具Spark AR,利用 Stable Diffusion,假裝自己手握了一個方塊小卡片。
就是上面還能播放動畫的那種。

為了達到逼真效果,作者還在卡片表面疊了一個反光圖層,讓卡片呈現的光澤 " 像玻璃杯一樣 "。
不過,這次的 Stable Diffusion 產出的圖像不是實時生成,而是事先錄制的,因為當下的 Spark AR 版本還不支持 AI 和 ML。

"Very Nice,通過 Stable Diffusion,AI 和 AR 再一次緊密相連了。"
不管怎么說,Stable Diffusion 這么火,不僅靠的是跑出來的驚人結果,觸及文本生成圖像以外的領域時,實力也很強勁呀~
原文地址:http://www.myzaker.com/article/634e3f45b15ec073e5507fed