機器之心報道

編輯：杜偉、陳萍

修改一張圖，一句話的事就搞定。

輸入一句話，就能把圖片修改好，這是很多畫師夢寐以求的修圖工具！但是話說回來，再優秀的畫師，如果僅憑自己的專業優勢，不借助其他工具，也很難在短時間內完成圖片的修改。

現在好了，AI 正在向圖片生成領域發起挑戰，各大科技公司、高校等開始紛紛涉足。最近一段時間，關心 AI 圈的人可能都有這樣一種感受：擴散模型被越來越多的人提及，基于擴散模型的各種圖片生成工具被開發出來。

在眾多模型中，Stable Diffusion 可謂是最出圈的一個，為其捐贈計算資源的英國開源人工智能公司 Stability AI 為此還獲得了 1.01 億美元融資，融資完成后，Stability AI 估值將達到 10 億美元。就在最近，還鬧出了 Stable Diffusion 背后團隊互撕的笑話，原因是他們都想當 Stable Diffusion 的所有者。

其實這個模型的技術來源是發表在 CVPR 2022 中的一篇論文《High-Resolution Image Synthesis with Latent Diffusion Models》，署名作者一共五位，分別來自慕尼黑大學、海德堡大學和 AI 視頻剪輯技術創業公司 Runway。

研究者對 Stable Diffusion 的開發一直在繼續。就在今日，reddit 上一則帖子點贊量已經突破 800+。

大概意思就是：Stable Diffusion 背后團隊之一的 Runway 公司發布了一個由 Stable Diffusion 模型驅動的圖像擦除和替換（Erase and Replace）工具，該工具可以修改圖像任何部分。用戶需要做的就是擦除該區域并編寫自然語言描述，剩下的交給程序就可以了。

舉例來說，一開始樹葉上是一只七星瓢蟲，用戶擦出掉（如紫色區域）該動物，然后輸入自然語言描述「正在找食物的蜜蜂」，點擊「替換」按鈕就可以了。

土地里「長」出不同的植物：

站在柱子上的不同種類的鳥：

不同樣式的林中小屋：

宇航員替換成衛星：

看完上述展示，不禁有種修改一張圖，就一句話的事的感覺。

此外，Runway 還發布了「擦除和替換」功能背后的模型，感興趣的小伙伴可以在 GitHub 上查看。該公司計劃在未來推出更多 Stable Diffusion 檢查點，并在 Runway 的 HPC 集群上進行訓練。

GitHub 地址：https://github.com/runwayml/stable-diffusion#inpainting-with-stable-diffusion

項目首先通過 Huggingface 的 Diffusers 庫來使用修復模型。Diffusers 是在 PyTorch 中用于圖像和音頻生成的 SOTA 擴散模型，并作為擴散模型推理和訓練的模塊化工具箱。

相關代碼如下所示。

同時，為了評估修復模型的性能，項目使用了與論文《High-Resolution Image Synthesis with Latent Diffusion Models》中相同的評估協議。由于 Stable Diffusion 修復模型接受文本輸入，因而只使用一個固定提示，即「photograph of a beautiful empty scene, highest quality settings.」。

評估結果如下所示。

網友大開腦洞，生成創意圖片

這個「擦除和替換」工具大大激發了網友的創作興趣，各種獵奇的創意作品都整出來了，讓人不得不佩服腦洞之大。

有人使用它惡搞了前幾天宣布辭職的英國前首相莉茲 · 特拉斯。

Twitter@aifunhouse

還有人對荷蘭畫家約翰內斯 · 維米爾的油畫《戴珍珠耳環的少女》進行了一系列「改寫」，有趣極了。

‍

Twitter@Yining Shi