全球首部完全AI翻译配音电影即将上映，配音工种面临失业危机！

全球第一部由 AI 完全翻译配音的电影 《Watch The Skies》即将登陆美国各大院线。这部瑞典语的科幻电影通过Flawless公司的TrueSync技术，实现了人工智能的翻译和配音。

Flawless不仅将台词翻译成英语，还利用人工智能技术让影片中所有角色的口型与英语完全同步。效果如此逼真，仿佛电影最初就是用英语拍摄的。

此前，在观看外语内容的英语配音版本时，观众常常感到不适。感谢流媒体平台的普及，观看配音的丹麦犯罪剧或西班牙寄宿学校肥皂剧变成了一次令人不安的“恐怖谷”之旅。"恐怖谷"是一个广泛使用的术语，指的是那些未能让我们信服、反而将人类相似性混入反乌托邦噩梦的技术。

Flawless希望通过其专有技术TrueSync，让观众在流媒体上观看热门节目的同时，晚上还能安稳入睡，不再有不匹配的口型动作和残酷的场景剪辑的困扰。Flawless是导演Scott Mann和Nick Lynes于2018年创立的公司，Flawless的技术在AI配音领域的翻译效果令人印象深刻。该公司在今年的戛纳电影节上预览了其作品的精彩片段，Variety网站独家分享了这一片段。

Flawless的设计旨在保护艺术版权并符合好莱坞工会的规定，这引发了关于国际内容价值及其在美国市场突破潜力的重大问题。Variety网站还可以报告，Flawless已正式进入电影发行领域。该公司与XYZ Films和Tea Shop Productions合资，收购外国电影版权。合作伙伴关系将把这些项目转换成英语，并以Flawless承诺的“完美口型同步视觉效果”在相关地区发布。首部发行的影片是Victor Dannell获奖的科幻喜剧《UFO瑞典》，将以国内标题《Watch the Skies》发布。预计未来几个月将有一系列项目推出。

Mann在与Variety的深入访谈中讨论了在娱乐业中对AI的恐惧和厌恶，构建道德准则以及恐怖谷的大脑机制。以下是访谈内容:

你是如何开始这个领域的?

这始于2018年，我的背景是电影导演、编剧和制作。我偶然发现了一篇介绍生成性AI给世界的第一篇文章，名为“Deep Video Portrait”，出自SIGGRAPH会议，这基本上是科学的奥斯卡。它震撼了我。

我一直从事视觉效果领域，很明显这项技术对我们行业可能产生的影响。我联系了那篇论文的作者，这导致了我与这些人以及我的合伙人Nick Lynes一起创立了公司。Christian Theobalt、Pablo Garrido和Hyeongwoo Kim创立了我们的科学部门，并将其发展为世界上领先的计算机驱动生成科学部门。这是我们的秘密武器。

目前在好莱坞，围绕AI有很多恐惧和焦虑。有趣的是，你的公司对此持乐观态度。

我们从电影制作的角度创立了这家公司。我热爱艺术，我们的任务关键是将这项技术视为具有制造工具的能力。有一种不同的观点认为，这旨在根除创意人员并窃取艺术。为了Napster化它，为了破坏而粗暴地破坏。但我们相信人类故事的表达，电影是这种表达的最先进形式。技术正在放大这一点，并增加更多的创造力。然后是整个业务的经济，它依赖于某些保护和对其工作原理的理解。

在这个城市，围绕AI的教育严重缺乏。这对你们的业务有何影响?

这是一个全球性问题。不仅仅是好莱坞。教育和理解是关键。有些公司——让我们称之为有缺陷的公司——宁愿不教育，因为这揭示了一种不正当的玩家。你需要诚实地讨论它是如何以及在哪里破坏的，以及积极的一面在哪里。过去几年，我们与工作室和工会——包括SAG-AFTRA——优先考虑了理解，并说，“看，这就是应该使用的方式。”下一次AMPTP合同谈判是每个人都应该开始谈论的事情。有一个变革性的东西正在进入我们的行业，我们应该做好准备。

业界是否在认真关注这个问题?

我可以自信地说，态度上有了巨大的变化。在去年的罢工之前，人们在批准使用AI项目方面采取了谨慎的路线。人们进行了早期的对话，似乎理解了它们，并试图改进流程。但有一种恐惧，担心越过界限。这个行业目前在某些地方状况不佳，许多人不想急于采取错误的解决方案。

Flawless是如何构建其道德准则的?

它源于我作为电影制作人个人经历的问题。我一直想修复电影配音。我做了一部电影，我非常小心，一部名为《抢劫》的电影，由罗伯特·德尼罗主演。它是如此亲密地制作和细腻，并且很高兴交付我们所做的。我看到了被配音的外语版本。剧本被完全重写，口型完全不同。我意识到，“天哪，难怪事情传播得不好。”

我有一个修复这个问题的想法，尝试了很多视觉效果，比如头部扫描和其他废话。这并不实用，也没有跨越诡异谷。这是一种长说法，如果你在移除和破坏对电影有贡献的整个区域，你就不能以道德的方式做到这一点。我们了解到道德和法律权利是相辅相成的。

说到恐怖谷，目前在其目前的形式下观看配音是非常残酷的。尤其是流媒体加剧了这一点。

作为人类，我们非常详细地研究彼此。如果我们看到有些不寻常的东西，我们的大脑会被编程为进入高度警戒状态。在电影制作的演变过程中，我们的大脑被欺骗和重新训练。你的潜意识正在做检查现实。如果某些东西不匹配——特别是声音和视觉——你立即对任何沉浸式的情感和可信度构成了巨大的障碍。想想通过面部、手势和演员的表演传达了多少表情，甚至没有听到声音。那里有很多。所有这些原因都使[目前的配音]成为一个问题。但有一个明确的问题要解决是好的。

这里还有一个相当具有变革性的元素，对于国际电影来说。它可以打开一个新的明星市场，消除很多美国语言重拍庆祝的电影。

向电影制作人展示我们的材料，特别是在过去一年，他们意识到从本地舞台到全球舞台的潜力。这是一个巨大的机会让你的作品走出去，这一直令人振奋。他们对向更广泛的观众展示他们的作品感到非常兴奋，特别是在美国。

有没有任何工作室或公司试图完全收购你们?

是的，当我们第一次来到好莱坞时。我们在2021年有一个非常短的宣传片，有些人试图直接开出价格。Nick和我都同意我们想要为每个人服务，而不仅仅是一个工作室的利益。我们想成为瑞士，因为否则会非常有限。但这帮助我们筹集资金并发展公司。这是一个好问题。

你也想要进入发行游戏。

我们一直把自己看作是某种程度上的工作室。我们希望专注于未来。你需要从前期制作、制作到发布都正确地做这件事。所有这些阶段都受到技术的影响。我的看法是，我们应该让电影观众增加10倍。而且用这些工具以更低的成本制作惊人的电影。如果你看看我们的第一部，《UFO瑞典》，显然已经被翻译成英语，但也给了电影制作者自由来增加和改变他们第一次负担不起的东西。你可以选择像一个算法组件一样，尝试做一份工作，但我认为真正的力量来自于制作电影和发行。整个事情。就后期制作而言，我们可以做得更多。看看皮克斯，他们可以在发布之前迭代他们的电影。

合资企业的收购将由Ryan Black、XYZ的James Emanuel Shapiro和Tea Shop的James Harris领导。

参考文章：

https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/