合成媒体 - 视频合成



合成视频是使用现代技术生成的人工视频。它们可以是完全人工生成的,也可以是对真实素材进行编辑的版本。视频合成应用于电影制作、广告、视频游戏和研究等领域。本节将解释合成视频、其类型、深度伪造视频、AI 生成的视频以及示例。

合成视频类型

随着技术的进步,已经开发出各种工具来创建人工视频。以下是不同年代使用的合成视频类型

  • 编辑后的视频:在 20 世纪 90 年代,Adobe Premiere 等视频编辑软件允许用户修改真实的视频素材。这是合成视频创建的第一步。
  • 视觉特效 (VFX):在 21 世纪初,计算机生成图像 (CGI) 和其他视觉特效技术被广泛用于电影和游戏中,用于创建完全虚构的场景。
  • 深度伪造:在 2010 年代,开发了深度学习技术来创建高度逼真的假视频。例如,在视频中交换人脸和唇形同步等。
  • AI 生成的视频:如今,AI 技术已经发展到可以仅使用人类提示在几秒钟内从头开始创建新的超逼真视频。

深度伪造视频

深度伪造视频是使用深度学习技术制作的假视频,与真人或事件非常相似。例如,在视频中交换人脸、更改唇部动作以匹配不同的音频等。如今,深度伪造变得非常完美,肉眼很难识别。

深度伪造视频是使用称为生成对抗网络 (GAN) 的深度学习算法创建的。GAN 编码器会从各个角度分析目标的照片或视频,以捕捉细节、视角和模式。分析后,GAN 会创建一个潜在人脸,它是目标面部特征的向量表示。并使用此向量运行两个神经网络:生成器和鉴别器。查看本文以了解更多关于深度伪造媒体。

使用 AI 的合成视频

AI 生成的视频完全由人工智能创建,无需使用真实素材。通常,这些视频是根据提供给 AI 的文本描述或提示生成的。

AI 使用 NLP 模型来理解文本提示并将其转换为视觉内容。此过程通常使用生成对抗网络 (GAN) 或转换器等算法完成。

AI 生成的视频通常用于视频合成、虚拟头像,甚至动画角色等领域。如今,AI 可以根据给定的提示生成逼真的动作、面部表情和场景。

AI 视频生成器如何工作?

AI 视频生成器使用复杂的机器学习技术进行工作。以下是这些工具工作原理的分步说明

  • 在视频数据集上进行训练:AI 模型使用大型视频数据集进行训练。该模型从这些视频中学习模式、动作和特征,以生成新的视频。
  • 理解文本提示:自然语言处理 (NLP) 技术帮助模型理解用户的文本输入。AI 了解要包含在视频中的对象、动作和场景。
  • 生成视频帧:该模型根据学习到的数据和文本输入生成单个视频帧。
  • 帧排序:生成帧后,AI 会将其组合在一起以创建流畅、连续的视频。

AI 视频生成工具

有几种工具可用于生成合成视频。一些流行的工具包括

  • DALL·E 视频OpenAI 开发的一个视频生成模型,可以将文本描述转换为短视频剪辑。
  • Dreamix:Google 的一个工具,允许根据用户输入创建和编辑视频剪辑。
  • Runway ML:一个提供由 AI 提供支持的视频生成和编辑工具的平台。
  • Meta Make-A-Video:Meta 的一个工具,可以根据文本提示创建短视频。
广告