自拍的視頻也能轉換成高清動漫臉，這個 AI 能夠在線玩了！

多達數十種肖像風格，并且支持高分辨率，生成的視頻是醬嬸的～

比如想生成 " 迪士尼 " 卡通風格：

又或者想生成游戲里的角色風格：

這是生成的皮克斯動畫風格的效果：

這是南洋理工大學開源的一個叫 VToonify 的框架，目前在 Huggingface 和 Colab 上都可以運行，一作還是北大博士。

看完上面的示例，是不是心癢癢了，下面有詳細教程手把手教你怎么玩，還不快學起來！

在線可玩

VToonify 的操作可以說非常簡單易上手了。

首先，選取你喜歡的卡通風格，公主風、肌肉風、大眼特效……還有 5 種插圖風供你選擇。

其次，上傳包含正臉的視頻（或圖像），點擊一鍵縮放，這一步是為了避免 CPU/GPU 過載，不過不用擔心，不會對最后生成視頻的質量有影響。

除此之外，還可以對上傳視頻的尺寸進行裁剪或填充。

接下來，只需等待十幾秒，即可得到最終的高清版卡通肖像。

而且，如果對 " 美顏程度 " 不滿意，還可以后期調整。

那么，如此神奇的效果，背后的原理是什么呢？

集成兩種框架

要講明白 VToonify 風格轉移的原理，就不得不提到StyleGAN，很多圖像風格遷移框架都是以這個模型為基礎的。

基于 StyleGAN 的方法也被稱作圖片卡通化，它將人臉編碼到潛在空間中，然后再將生成的代碼應用到被藝術肖像數據集調整后的 StyleGAN，最終生成不同風格的肖像圖。

重要的是，它可以生成 1024*1024高分辨率的圖像。

但 StyleGAN 在調整肖像的風格時，需要在固定的尺寸下進行，而且不完整的面孔以及一些奇怪的手勢都會對它的效果產生影響，因此 StyleGAN 對動態肖像是不太友好的。

這時，就需要再介紹另外一種圖像轉換框架了——采用卷積網絡的圖像轉換框架，它能夠很好地忽略在測試階段圖像大小和人臉位置的限制（與 StyleGAN 完全互補了）。

說回 VToonify，它集兩個框架的大成于一身，成為一個全新的混合框架。

研究人員刪除了 StyleGAN 固定大小的輸入特性和低分辨率層，然后創建了創建了一個完全卷積的編碼器生成器架構。

具體來說，就是將 StyleGAN 模型集成到生成器中，將模型和數據結合起來，從而它的樣式修改特性由 VToonify 繼承。

并且，作為生成器的 StyleGAN 對編碼器進行訓練，可以大大減少訓練時間和難度。

值得一提的是，該研究團隊在今年 3 月就曾開發過一款圖像風格轉移 AI：模仿大師（Pastiche Master），基于 DualStyleGAN 的框架，能夠靈活控制風格并修改風格度。

而這次研究團隊推出 VToonify，不僅繼承了 DualStyleGAN 的優點，并且通過修改 DualStyleGAN 的風格控制模塊將這些特性進一步擴展到視頻。

研究團隊

VToonify 的研究團隊全部來自南洋理工大學。

論文一作楊帥，是南洋理工大學的研究員，主要研究方向是圖像生成和圖像編輯，本科和博士均就讀于北京大學。

通訊作者呂健勤，是南洋理工大學計算機科學與工程學院的副教授，也是香港中文大學客座副教授，其研究方向主要為計算機視覺和深度學習。