南洋问题研究

综合新闻

哈哈,好玩!字节跳动和南洋理工大学共同开发

来源:南洋问题研究 【在线投稿】 栏目:综合新闻 时间:2021-09-01

“感知技术·感受CG·感受艺术·感受灵魂”

中国极具影响力的影视特效CG动画领域来自媒体

记得前段时间,经常可以在微博或B站看到别人携带的卡通滤镜视频。不管是猫狗还是人,只要加了这个滤镜,真的一秒钟变成了迪斯尼人物,依旧没有违和感。随便给大家看几张吧:

怎么样,是不是很有趣?最近和朋友分享后,发现国内抖音也有类似的滤镜。如果您无事可做,您可以搜索它。但是今天我要给大家介绍的不是视频中使用的工具,而是一种可以通过单张照片获取动漫人物、卡通人物甚至古典绘画的面孔的工具。非常方便,感兴趣的可以继续看下去!

这个工具叫做 AgileGAN。它是一种用于创建风格化肖像的新工具。它是由南洋理工大学和字节跳动的几位朋友创建的。您可以通过以下视频了解它:

p>

这个新工具可以通过反转一致的迁移学习来创建风格化的肖像。只要上传一张人脸比较明显的照片,就可以得到几张风格化的人像,就像下图:

该工具引入了一种新颖的层次划分变分自编码器,可以确保映射隐藏空间分布符合原始高斯分布,同时将原始空间扩展为多维隐藏空间,以便更好地编码不同层次的细节。同时,为了更好地捕捉面部特征,该工具还具有属性感知生成器,并使用动态停止策略来避免过拟合小训练数据集。

让我们来看看下面的图片:

给大家介绍一下图上是什么:最上面一行的小图是一些示例样式的例子,接下来两行的大图??是几组输入图片的结果,来自Toonify(也是一个类似的工具)。以及来自 AgileGAN 的结果。只要输入一张图片,就可以非常快速地自动生成各种艺术风格的高质量高分辨率(1024*1024)图片。

我们都知道,肖像画作为一种艺术形式,已经从写实描绘演变为多种创作风格。尽管在自动风格化方面取得了实质性进展,但生成高质量的风格肖像仍然是一个挑战。即使是最近流行的 Toonify 在用于真实输入图像时也存在一些小缺陷。于是为了能够得到不同的人像风格,AgileGAN 出现了。该工具在创建高质量和高分辨率的肖像风格化模型方面提供了更大的灵活性,并且只需要有限数量的风格样本(~100)和较短的训练时间(~1 小时)。制作团队收集了多个风格数据集进行评估,包括3D卡通、漫画、绘画和名人。通过定性、定量和感性的用户研究比较,该工具可以实现优于以前最先进方法的肖像风格化质量。

我也拍了几张照片试了一下,顺便给大家看看网站是什么样子的,不过相信你一打开就看懂了~

这是这个工具的网页。如果您使用手机,则没有问题。你看到下面黄色的 UploadPhoto 按钮了吗?单击它,您可以上传您想要的照片。

先来试试小蜘蛛荷兰弟:

很朴素的照片,从上到下分别是卡通风格、油画风格和漫画风格。只需单击您想要的任何样式的相应图片。

接下来,让我们用一张美国队的照片来试试康,看看大胡子的人会产生什么样的效果。

还不错,那么动物可以识别吗?让我们用美国队的狗来试试吧。

不幸的是,不,目前仅支持人脸图像。让我尝试另一个角度棘手的自拍照: