AI 做特效，到哪一步了？

随着全球影视产业逐步走向工业化、规模化和产业化，我们陆续看到《阿丽塔：战斗天使》、《盗梦空间》、《流浪地球》、《阿凡达》、《复仇者联盟》等科幻电影因震撼的视听感受、新颖的电影题材获得票房、口碑双收。

现今特效技术已被广泛应用于各类电影动画中，工业光魔、Weta 等世界顶级视觉特效公司及大型影视制作团队，都已尝试使用计算机图形图像技术（CGI）辅助制作一些高呈现难度的数字特效。CGI 让影视特效创作得到技术保障，让有视野与高度的艺术创作可以尽情发挥，也让各类本身具有新颖主题和宏大世界观的影视作品或游戏的美学属性得到更大程度的表达与传递。

「指环王 2：双塔奇兵」最后圣盔谷之战甘道夫率洛汗援军冲下大斜坡与兽人士兵正面交锋场面

数字特效的发展史可以看作是电影制作的技术发展史，在电影刚刚出现的那几年，任何的视觉效果都是局限在相机内完成的工作，例如替换镜头，或简单的帧分割技术。1896 年，法国著名魔术师及电影制片人、数字特效鼻祖、科幻电影先驱乔治·梅里埃偶然发明了一种电影特效技术——停机再拍，仿佛可以通过控制摄像机来操控并改造画面中的「现实」。随后其创造的两部画面光怪陆离、剧情近乎梦幻的电影——「月球旅行记」与「奇幻旅程」，也作为科幻电影的坐标原点，开启了人类对超现实主题电影与特效制作的无尽想象。

「月球旅行记」电影宣传封面图

进入 50 年代后，随着计算机技术的发展，特效的制作也开始借助计算机图形学的知识，用电脑来生成图像（CGI），这种技术到 70 年代后逐渐成熟，出现了像《星球大战》这样的经典特效电影。1985 年，迪士尼公司创造了第一个使用电脑绘制的动画角色——年轻的夏洛克·霍姆斯的彩色玻璃人。

20 年之后，《指环王》和《阿凡达》的成功掀起了一场技术革命，数字虚拟角色的制作在电影当中开始靠动作捕捉技术来制作。随着计算机技术的不断发展，特效的制作开始走向数字化，从传统的机内特效，特效化妆，光学洗印等物理特效手段发展至到现在的数字合成、数字绘景、流体动力学等电脑生成图像。同时，随着数据分析、计算机视觉、机器学习和深度学习等数据智能技术的不断应用，提升了数字特效的自动化处理和分析的水平，赋予了数字特效更多的智能化属性，进一步减轻了特效工作人员繁琐的工作，降低了人力成本和时间成本。

《阿凡达》实地拍摄场面与虚拟摄像机实时预览画面对比

机器之心希望通过本报告《世界顶级电影特效公司都在让 AI「接管」特效制作——数字特效中人工智能技术的应用现状及趋势展望》，介绍现有机器学习算法在数字特效中的应用现状、未来技术发展及落地应用趋势，帮助做机器学习、影视制作等相关的特效制作人员、特效团队、视效总监、电影导演，寻找机器学习技术应用的可行性，以及为新型影视的制作策略和特效技术开发提供参考。

全球影视产业逐步走向工业化、规模化和产业化。数字特效制作高人力成本、低生产效率的问题使得越来越多的特效工作者和特效技术开发团队开始重视人工智能技术的应用。在不断研究与实践中发现，计算机图形图像技术的应用可对视听素材进行更高效率的剪辑、处理及合成。

现今工业光魔、Weta等世界顶级视觉特效公司及大型影视制作团队，都已开始使用机器学习算法等人工智能技术辅助制作一些高呈现难度的数字特效，增加了影视作品的视觉表达方式及效果。但同时人工智能技术的应用也有相当大的局限性，例如特效算法模型参数需要大量实践调试、人工智能虚拟角色行为无法预测、镜头捕捉到的动作随机性强造成特效动作失真或僵硬等问题。但随着新兴视听技术、数据科学和新一代信息技术的不断发展及融合应用，我们有理由相信数字特效产业将实现更快速的智能化发展。

作者| 申一帆、樊晓芳

文章来自中国影视视效社群会员，欢迎大家点击阅读原文，加入社群与全国视效从业者一起交流成长！

一、数字特效定义及制作流程

1. 数字特效的基本概念

数字特效又称数字特技，指利用计算机图形图像技术制作虚拟视频效果的影视编辑技术，包括前期的电影构图、角色设计和制作中期的虚拟场景气氛渲染以及后期处理等。数字特效被广泛应用于电影特效、动画制作、室内设计、医疗影像建模、工业仿真等领域。

在电影生产过程中，常会遇到一些拍摄难度高、成本费用、危险性非常大以及难于在现实生活中拍摄到的镜头。在传统的电影特技中，特效的制作更倾向于用特技摄影、微缩模型摄影、电子模型特技、合成特技、特技化妆等方式来解决这些问题。在计算机介入到电影特技领域后，电影特技的后期制作能力大大增强，数字电影特效所包含的内容也更加广泛和深入。

2. 数字特效的制作流程

3.数字特效的分类

特效从影视制作的应用过程和技法上可以分为两部分，即前期拍摄使用的变速等特殊效果的特效和需要软件进行大量后期处理的后期特效。

二、数字特效产业及市场现状

1.数字特效产业市场规模

数字特效常被用于各类动画、科幻主题影视作品中，也逐步被应用于生成更多创意题材的短视频内容。2018年全球电影票房排名前十的影片中，特效片占比90%，总票房达100亿。在短视频领域，目前国内主要短视频平台如快手、抖音、美拍，都新增了滤镜特效等功能，降低用户制作更具表现力及更多样表现形式的内容的门槛，激发用户创作想象力。

2.数字特效产业现状

特效行业具有劳动力密集与资金密集的特点，人力、软件、硬件成本分别占据60%、10%-20%、20%-30%。从国外的特效行业来看，美国特效行业受到全球化冲击，行业准入门槛变低，特效公司议价能力变弱。韩国特效行业在政府的扶持下强盛，走向国际化，向中国市场发展，但由于团队规模小，进入美国市场较难。中国本土特效公司受益于中国影视产业进入精品内容驱动增长、内容生产工业化的行业红利开始崛起，但与美国电影特效制作水平仍有差距。

3.人工智能在数字特效制作中的应用优势

机器学习和深度学习算法在动画建模、渲染、视听素材编辑合成等特效制作环节的应用，大幅增加了自动化操作比例，加速视觉特效制作周期，在节约人力物力的同时，增加特效艺术性。

三、人工智能技术在数字特效制作中的应用

四、使用人工智能技术制作数字特效的代表案例

1.《复仇者联盟3》使用新的机器学习算法来推进人物角色面部表情捕捉过程：Digital Domain使用基于机器学习进行面部捕捉的新方法，采集演员细致的面部扫描、跟踪的数据，制作「灭霸」角色的表情，让虚拟CG角色的表情特效可以更逼真反应角色细微的心理变化。

2. Weta公司使用基于深度学习算法的工具推算阿丽塔面部肌肉的运动数据，绘制皮肤毛孔的细节：Weta在制作「阿丽塔」女主角CG形象时，使用了两种基于深度学习的方法。一种是人脸跟踪器使用深度学习，当由于拍摄原因脸部一部分被遮挡时，输入面部运动的信息作为训练数据，系统可以推算出一组可行的标记点。另一种用于制作阿丽塔皮肤，通过训练数据产生正确尺寸和方向的皮肤和毛孔。

3.《至爱梵高》借助风格迁移算法制作具备梵高作品绘画要素画面风格的《梵高之眼》动画影片：电影制作首先对原视频进行单帧化处理，然后借助Caffe人工智能网络及模型，利用风格迁移算法进行《梵高之眼》视频帧的分类镜头进行风格迁移制作动画。

4.《指环王:护戒使者》 使用群体模拟系统制作大规模群体数字士兵及万人打斗场面：电影中大规模的群体数字士兵是由 Massive「虚拟环境群体模拟系统」制作出来的，可以实现数十万个数字人之间真实的互动对抗，让不同的个体在特征与动作上产生千变万化的差异。

五、人工智能技术在数字特效制作中应用的局限性

1. 特效算法模型参数的确定需要大量实践调试。

2. 使用神经网络的动作捕捉技术生成的捕捉效果的随机性强，生成的动作效果失真或僵硬。

3. 专用特效算法开发较难，对特效制作团队专业性要求较高。

4. 特效算法应用对计算资源等环境因素要求较高。

5. 算法生成的虚拟角色的行为无法预测，可能与预设剧情相悖。

6. 神经网络模型的建立需要大量无偏差但又能代表系统特性的数据，如何生成合理数据是神经网络能否能准确代表真实系统的一个重要决定因素；缺少特效素材数据集。

六、数字特效产业智能化发展与人工智能技术应用趋势

产业智能化发展

1. 新兴视听技术与智能科学及新一代信息技术的融合应用驱动电影视觉表达多元化创新发展。

2. 电影大数据的应用推动电影摄制工艺和产业服务模式的优化升级。

3. 使用云平台进行数字特效协同制作及管理，提高工作流程及人力资源利用率。

技术应用

1. 机器学习算法应用于动作捕捉技术 ，提高人体肌肉动画制作素材获取效率及制作效果。

2. 使用机器学习算法驱动的代理人系统，可制作上万人群的群集动画效果，单个任务动作逼真化。

3. 使用机器学习和及计算机视觉工具进行画面信息自动发提取及物体运动跟踪。

特别鸣谢

江苏原力电脑动画制作有限公司

中国传媒大学南广学院 讲师 夏聘婷

*本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布，敬请大家关注。针对「电影、动画、短视频中AI特效制作」这一主题，有哪些方向或主题，你希望在报告深度版中读到更详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。

关于「智周」系列报告

机器之心「智周」人工智能技术应用报告系列重点关注现有人工智能技术应用较成熟且应用潜力较大的正在进行智慧升级的传统行业及场景，逐行业、逐场景为产业用户高效而不失深度地呈现不同人工智能技术的产业落地现状、企业案例、技术应用趋势等。「智周」人工智能技术应用报告系列包含核心版及深度版两个版本：

核心版浓缩精华分析内容至2页内，覆盖重要数据、分析结论及案例简述，以供使用者高效系统地了解人工智能技术在自身所关注产业内的潜在机会。

深度版在核心版的基础上，包含详尽的行业或场景痛点分析、技术解读、落地案例详解及资料附录等，以供有深度研究需求的使用者进行深入探究。

声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。

文/机器之心产业研究 来源/影视工业网（ID：iloveCineHello）

原文：https://mp.weixin.qq.com/s/0tE_V7LoAduQigc9pQFLsQ