AIGC对VFX行业当下的影响
输入“/”快速插入内容
😊AIGC对VFX行业当下的影响
AIGC对VFX行业当下的影响
2024年2月25日创建
📌
来源：公众号：cgview ，作者VFXQH
前言
随着我们进入 2024 年，电影和动画行业继续经历变革，这种演变的核心在于将AI与VFX领域相结合，从生产力和制作流程的升级与重塑，促使行业结构各种变化。AI具有从数据中学习和做出预测的能力，正在逐步改变视觉特效的方方面面，为艺术家提供强大的工具来突破创造力和效率的界限。AI正在日新月异进步，并已在视觉效果行业中得到广泛应用。本文我们将试图立体了解视觉效果的工作流程变革，并了解AI带来创造、效率提升方法与方向。AI从生文到图、声音再到视频，当下短视频时代显然是最快被改变的。看土味视频，品百味人生。可以预见未来短视频出现像去年的慈禧跳科目三舞蹈、AI周杰伦、AI孙燕姿唱别人的歌，这类网红现象级传播还会不断出现。创意短视频、新媒体广告等诸多领域的创作和展示方式改变也是全局的，我家电梯广告已经出现了注明使用AIGC生成的海报，伴随着各种制作成本不断下降，创意变得愈发重要。不过这些低成本内容和这个产业关系不是非常大，VFX专业壁垒相对还是比较高的。在工业光魔工作了20年的资深视效监督Scott Squires在过去的采访中表示：以前完成的大部分非常耗时和乏味的体力VFX工作至少已经部分实现了自动化。他赞同新技术使视觉特效艺术家能够制作出更高质量的作品，并为创造力提供更多选择。自动化视觉特效任务使影视、TVC、动画剧集提高了各种效益，一定程度减少了对大型团队的需求，从而降低了制作成本。重要的一点是：它通过减少花在重复性任务上的时间来增强创造力。因为视效产业制作需求还是相对短视频的门槛、质量创意双高的产品服务，所以预算和制作周期的平衡优化自诞生起就是非常渴求的。本文尽可能只想探讨VFX专业领域内：目前横向前后工作流程技能树解锁进度与展望，纵向垂直工种哪些被不同程度改变。
概念、文生图和视频
在过去的一年里，AIGC图片生成式内容很火，我们看到使用 Stable Diffusion、Midjourney和 Dall-e 等平台的 2D 图像生成的 AI 工具取得了巨大发展，并且采取订阅制商业上也相对成熟快速落地。这些文本到图像的 AI 工具可在几秒钟内将文本提示转换为详细的图像。最传统概念设计师的影响显然是最大的，图片毕竟是静态，技术门槛还是比较低的。来探讨一下AI视频的进展，Sora显然是关键的技能树解锁之一。像 GPT的文本生成是 Transformer 模型，简单说它是一套使用神经网络编码和解码的文本预测架构，将文本编码成数据向量，然后解码的时候从数据还原出文本，来预测上下文。
有了文本生成模型后，通过卷积神经网络让文本和图像关联。文生图是怎么到视频生成模型转变的？Runway、Stable Diffusion 是基于扩散模型（Diffusion Model），扩散模型的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全2D无结构的杂乱噪点图片，然后在生成图片的时候，基于一张完全噪点的图片，逐步减少噪点，直到根据文本提示词还原出一张对应清晰的图片。这个数学过程不是非常复杂，对于有数学和机器学习基础的人看懂推导过程还是比较简单的。简单理解扩散模型之前的实现还是2D上意义的重建生成前后帧，所以很多AI视频模型动起来软绵绵的，除了抖动就是生成对象的几何模型立体表现不一致持续，这是以前方法最大的瓶颈。
Sora 和之前扩散模型的架构上最大的区别与突破呢？AI视频模型本身是一个必须需要物理和几何感知的生成模型，Sora 朝这个方向迈出了一步，稳定一致性不抖是它非常重要的进步，Sora 是基于之前的进行改进，做出了自己的 Diffusion Transformer架构，基于目前的官方报告，可以看出它不是简单的2D生图进行再连续生成，否则透视都不会那么正常。官方称物理是用数据驱动学习模拟，这更像是一种映射替换，而非具有动力学理解了物理行为，重建这一过程，注意也只是重建，这和“理解”物理行为完全不同。扩散模型是深度学习和生成模型的关键技术之一。它指的是一种生成模型，可以生成模拟给定数据分布的高质量、多样化的“样本”。在这种情况下，数据分布是一系列电影风格的真实图像。但不要混淆;它不以3D建模，不了解物理或光，也不了解相机，无论是数字还是其他方式。它生成了统计学上合理的图像，现在它可以以一种看起来在时间上一致的方式做到这一点。换句话说，这些视频似乎在帧之间没有抖动，而且随着时间的推移，它们（某种程度上）是有意义的。我们之前已经看到过许多尝试，但没有一个像SORA那样好或那么长。新的 OpenAI SORA 正在制作合理的（大部分）60 秒视频——比以前可能的时间长得多。—— Mike Seymour，fxguide联合创始人和特约编辑评论道。另外，官方报告中特地提到了：“我们的研究显示，扩展视频生成模型的规模是向着创建能够模拟物理世界的通用工具迈出有前途的一步。”报告中没有包含具体实施方法的架构详细信息。而且计算性能和成本并未说明，我认为算力目前要求不会很低，成本下降空间一切还是未知，等待大规模测试才能知道。
Sora 目前已知是一个融合不同以往的架构。Sora 不是预测序列中的下一个文本，而是预测序列中的下一个“Patch”，这肯定不是单纯的文本语义信息，而是含有语义、几何空间和物理感知数据压缩的。官方报告里面叫 Patches，Encoder 将视频压缩为低维数据，再反复编解码处理，再将其分解为 Patches。同样 Sora 也能从 Patches 反向解码生成视频图像。比如从《我的世界》游戏体素风格和写实风格的视频互相转换。
为了验证Sora具备几何感知能力，也就是对提示词表达的数据对象有隐式的基础空间点云生成能力，在官方视频流出后，专业的照片建模博主对其进行的重建，可以看出Sora已经具备，否则根据其城市、室内等视频运动分析是无法复原其内容3D结构的。在下面资产章节会更加细致讨论。以下是AI视频的技术论文和项目参考，来看看历史变迁：
Diffusion Transformers （DiT）
Scalable Diffusion Models with Transformers
Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
之前扩散模型架构的AI视频对比参考：