
研究人员创建的架构概述。图源:Pinelopi Papalamidi等人。
预告片作为介绍一部新电影的短视频片段,通常是电影制作公司推广策略的关键元素。它应该简要总结电影情节,传达电影的艺术风格和整体情绪,以达到引人入胜的最佳效果。迄今为止,电影预告片都是由人类创作的,然而最近一些计算机科学家开始探索机器自动生成预告片的可能性。
爱丁堡大学的研究人员开发了一种人工神经网络模型,采用基于图形的机器自主学习算法,可以自动生成电影预告片。
研究者将自动生成预告片的任务分解为识别叙事结构、预测传达情绪这两个子任务,再根据这两项子任务分别开发处理电影视频和剧本摘录的新技术。
研究人员Pinelopi Papalamidi、Frank Keller和Mirella Lapata在论文中写道:“我们将电影建模为图形,以镜头为节点,边缘表示它们之间的语义关系。利用剧本中特殊的文本信息,如角色、动作、情境,进行联合对比训练模型熟悉这些语义关系,然后无监督算法遍历图形并生成预告片。”
实际上,他们创造的这种方法是由两个神经网络组成的:一个网络处理来自电影视频流的多模态镜头表示,另一个网络分析基于电影剧本的文本场景表示。这两种神经网络结合起来可以识别电影中的转折点,如机会降临、计划改变、重大挫折和高潮,这些转折点作为电影的突出部分,应该出现在预告片中。
Papalampidi, Keller和Lapata对他们这项新的研究进行了一系列测试之后发现,这种方法能够识别电影中的转折点,且准确度比其他生成电影预告片的方法要高得多。
他们还用这种模型为41部电影制作了预告片,并通过询问观众,比较了这种预告片和人类监督制作的预告片的受喜爱度。有趣的是,绝大多数受访者更喜欢这种模型自动生成的预告片。
虽然研究人员开发的这种模型目前还不能创造出完美的预告片,但它可以被电影制作公司用于辅助电影预告片的制作。
接下来,研究团队致力于研究电影中的细微情感,如悲伤、恐惧、欢乐、厌恶等。未来将研发出电影情感数据集,以及基于文本和视听线索的情感检测模型,进一步提高自动生成的预告片的质量。