Style transfer for videos,as described in the paper "Artistic style transfer for videos"
by Manuel Ruder, Alexey Dosovitskiy and Thomas Brox
http://arxiv.org/abs/1604.08610
德国弗莱堡大学的Manuel Ruder及伙伴们
复制了梵高的《星空》和蒙克的《尖叫》等著名作品中的风格,
粘贴至各种电影和电视剧的视频片段中,例如超萌的动画电影《冰川世纪》,
以及由作家阿加莎·克里斯蒂小说改编而成的英国悬疑犯罪电视剧《马普尔小姐》。
项目带来了超级惊艳的视频,让我们看到,几乎任何你能想到的视觉风格都可以复制粘贴。
去年,德国图宾根大学的Leon Gatys及伙伴们开始用这种方式研究艺术风格。
他们的关键发现是,图像的内容可以完全与其艺术风格分离。
他们还发现,艺术风格可以被复制粘贴,放到随便什么其他图像上去。
还可以将画风粘贴到连续的图像上,做一个视频。但这引起了别的问题。
连续帧之间的小差异,有可以导致艺术风格全盘崩坏,甚至让整个视频看起来磕磕碰碰、毫不连贯。
其中一个问题就是物体在移动或被遮蔽时,如何处理物体的边缘。
现在,Ruder和同事们解决了这个问题。
“基于一个艺术图像,我们可以成功将其风格转化到整个视频中去。”他们说。
他们的方法是使用一个算法来分析连续处理帧之间的差异,避免大的变化,同时忽略画面中被遮蔽的部分。
他们说:“这让我们可以重建取消遮蔽的区域和变形的移动边界,同时保留图像中其余部分的样子。”
他们用1024 x 436像素的NVIDIA TITAN X GPU处理系列中的每一个图像,以及一个CPU在同时平行运行。
刚开始,处理每一帧需要8分钟。但是经过优化之后,处理每一帧只需要3分钟。
如果帧与帧之间的变化非常快速或非常大,算法的表现还是差强人意。
而且,计算时间应该还可以进一步优化降低。不过这些问题不影响我们欣赏视频里的惊艳效果。
by Manuel Ruder, Alexey Dosovitskiy and Thomas Brox
http://arxiv.org/abs/1604.08610
德国弗莱堡大学的Manuel Ruder及伙伴们
复制了梵高的《星空》和蒙克的《尖叫》等著名作品中的风格,
粘贴至各种电影和电视剧的视频片段中,例如超萌的动画电影《冰川世纪》,
以及由作家阿加莎·克里斯蒂小说改编而成的英国悬疑犯罪电视剧《马普尔小姐》。
项目带来了超级惊艳的视频,让我们看到,几乎任何你能想到的视觉风格都可以复制粘贴。
去年,德国图宾根大学的Leon Gatys及伙伴们开始用这种方式研究艺术风格。
他们的关键发现是,图像的内容可以完全与其艺术风格分离。
他们还发现,艺术风格可以被复制粘贴,放到随便什么其他图像上去。
还可以将画风粘贴到连续的图像上,做一个视频。但这引起了别的问题。
连续帧之间的小差异,有可以导致艺术风格全盘崩坏,甚至让整个视频看起来磕磕碰碰、毫不连贯。
其中一个问题就是物体在移动或被遮蔽时,如何处理物体的边缘。
现在,Ruder和同事们解决了这个问题。
“基于一个艺术图像,我们可以成功将其风格转化到整个视频中去。”他们说。
他们的方法是使用一个算法来分析连续处理帧之间的差异,避免大的变化,同时忽略画面中被遮蔽的部分。
他们说:“这让我们可以重建取消遮蔽的区域和变形的移动边界,同时保留图像中其余部分的样子。”
他们用1024 x 436像素的NVIDIA TITAN X GPU处理系列中的每一个图像,以及一个CPU在同时平行运行。
刚开始,处理每一帧需要8分钟。但是经过优化之后,处理每一帧只需要3分钟。
如果帧与帧之间的变化非常快速或非常大,算法的表现还是差强人意。
而且,计算时间应该还可以进一步优化降低。不过这些问题不影响我们欣赏视频里的惊艳效果。