强迫症福音：AI 对应配音改演员口型，汤姆・汉克斯也能流利说日语

近日，英国 AI 创企 Flawless 使用 Deepfake（深度伪造技术）调整演员面部表情，让他们改变口型说外语，解决观众观看外国电影时演员口型与字幕或配音不同步的问题。

该公司将这一可视化翻译技术产品命名为 TrueSync，在该工具下，汤姆・汉克斯在《阿甘正传》中也可以流利地说着日语。

电影使用 TrueSync 再制作后，即使一名演员用英语拍摄了一部电影，对于听中文配音的电影观众来说，似乎所有的演员都在讲中文。

一、多语言可视化翻译，Deepfake 释放电影潜力

使用 Deepfake 技术改变视频存在一定风险，因为这会创造从未发生过的场景，让演员讲出他们没有说过的话，例如杨幂换脸等视频的出现给当事人带来一定的困扰。

但 Deepfake 技术也可以让电影制作更为便捷，成本更低，释放电影真正的潜力。

事实证明，以前将外国电影进行多语言配音或字幕更改的方式，会降低电影画质，对外国观众来说观看较差。

Flawless 公司的 TrueSync 工具将 Deepfake 技术用于电影制作，电影制品人和内容所有者都可以利用 TrueSync 工具将外语电影视觉翻译成任何观众的母语。

Flawless 汇集 AI 科学家、电影制片人和技术人员，所研发的 TrueSync 工具是全球首个使用 AI 以多种语言创建完美对口型可视化的系统。

TrueSync 可以最大限度的保留原版电影的质量和沉浸感，保留所有演员特质表演细节。

因此，大家无需担心 Deepfake 技术会破坏电影整体情绪。

在计算机图形学的飞速发展下，Deepfake 技术也在不断迭代。

现在，业余创作者只需要用手机和电脑，也可以创作出好莱坞水准的电影，而无需耗费好莱坞电影类似的成本。

例如，曾经在视频剪辑中手动擦除对象是一个非常耗时的过程，需要逐帧调整，而现在剪辑软件已经可以自动处理了。

近年来，AI 图像处理能力正持续突破，各国 AI 换口型技术也在不断创新迭代。

印度海德拉巴大学和英国巴斯大学研发了一个名为 Wav2Lip 的 AI 模型，可以在视频中同步生成准确唇语。任何人物身份，甚至包括卡通人物，任何语音和语言，都可以将口型视频高精度同步到任何目标语音。

▲Wav2Lip 技术下配口型

美国华盛顿大学基于公开的音视频片段，用 AI 分析了数百万帧影像，以确定嘴唇、牙齿、嘴角等脸部变化，生成了口型几乎完美匹配、高度逼真的假视频。

▲换口型技术流程图

此外，斯坦福大学、马克斯普朗克信息学研究所、普林斯顿大学和 Adobe Research 的研究人员组织了一个团队，创建了一种 AI 算法，给定任意文本就能随便改变一段视频里人物说的话，并且改动后看不出篡改痕迹。

▲改变文字后生成新视频

在 Deepfake 技术的发展下，电影制作商不仅可以降低电影译制成本，还可以在演员念错台词时进行补救，从整体上提升电影生产效率。

诞生于 2017 年的 Deepfake 虽近年来饱受非议，但随着相关监管的严格以及技术人员素养的提升，Deepfake 商用场景不断拓展，逐渐在内容生产领域显现出自己的潜力。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。