观察【AIGC-动画设计】AI技术在动画行业中的应用米乐 M6米乐
米乐 M6米乐米乐 M6米乐随着Midjourney和Stable Diffusion的大火，AI绘画已经进入了一个平民化的时代。AI绘画极大地解放了人的想象力，让普通人可以在没有绘画基础的条件下绘制出一幅满意的作品。
AI绘画高速的发展已经给绘画行业带来了巨大的冲击，而AI技术的应用对于动画行业的影响似乎较少被提及。本文将从AI绘画技术的发展以及在动画行业中的实际应用入手，尝试解析AI技术对于动画行业的影响。
动画（Animation）是一种通过定时拍摄一系列多个静止的固态图像（帧）以一定频率连续变化、运动（播放）的速度而导致肉眼的视觉残象产生错觉——而误以为图画或物体（画面）活动的作品及其视频技术。
根据制作方式的不同，动画又可分为二维帧序列动画，二维绑定动画和三维动画。二维帧序列动画需要由人绘制动画的每一帧画面，然后将这些画面图片逐帧排列制作成一段动画视频。由于需要逐帧绘制动画的画面，因此即便是一段很短的动画片，也需要很大的工作量。
二维帧序列动画的制作核心是动画每一帧的画面绘制。而随着AI技术的发展，AI绘画已经能创造出不错的图片了。如果能利用AI技术，生成动画的每一帧图像，是否就能用AI技术完成一部动画的创作？如果能实现这一想法，就能够节省下动画制作的巨大工作量，降低成本。在这一思想的引领下，目前，一些动画从业者已经做出了实践与尝试，也给予了我们启发。
二维帧动画制作的离不开每一帧图片的绘制，现在的AI二维帧动画作品尝试也与单张生成的AI绘画技术密不可分，因此，在对应用AI技术的动画作品进行赏析之前，有必要再回顾一下AI绘画的发展历程。
上世纪70年代，加州大学圣地亚哥分校教授哈罗德·科恩创造了一系列可以创作艺术图像的程序AARON。在科恩的持续维护下，AARON能够控制一个机械臂，用画笔创作出不同的场景与形象，还能为图片上色。AARON创作出的艺术品在全世界多个画廊中展出。遗憾的是，它无法学习新的风格，只能在预先设定的风格中进行绘画。
2012年，两位Google公司的科学家，吴恩达和Jeff Dean，使用了1000万个来自YouTube视频中的猫脸图片，成功训练出了一个模糊的猫脸图像。从那时起，学界对AI绘画进行了许多方面的探索，提出了不少著名的模型，例如GAN（对抗生成网络）和现在广泛用于AI绘画的Diffusion模型。
2021年初，OpenAI公司发布了DALL-E系统，实现了通过输入文字提示来创作绘画的功能。虽然图像生成的结果并不是很清晰，但仍然是一个突破性的进展。从此开始，AI绘画逐渐进入快速发展时期，绘图精度越来越高，逐渐普及。
2021年初，OpenAI开源了新的深度学习模型CLIP，将自然语言处理的最新发展引入计算机视觉的主流之中，实现将语言概念的再试验与图像语义的知识相结合。它利用了高达40亿个“文本-图像”训练数据，通过学习图片中表示颜色、形状、纹理等抽象特征的像素点来学习图片背后的语义知识。
之后，个人玩家开始利用开源模型开发AI程序，如@RiversHaveWings发布的CLIP+VQGAN程序和教程，引起了AI研究界和爱好者们的关注。同时，大公司也在开发成熟的AI绘图程序。
Disco Diffusion是第一个基于CLIP+Diffusion模型的实用化AI绘画产品，但存在着刻画具体模型和渲染图像耗时长的缺陷。它生成的一些图片虽然初看惊艳，但细节却模糊不清。
Stable Diffusion在2022年7月开始测试，从技术上解决了耗时长的问题，大大降低了内存和计算要求，让普通用户也能进行AI绘画。并且，开发团队Stability.AI秉承AI by the people, for the people的理念，快速对项目进行开源。至此，AI绘画时代到来，每个人都能通过AI自由创造自己喜欢的绘画。
另一个广为人知的程序Midjourney底层技术与Stable diffusion相似，但降低了使用门槛，用户可以通过Discord机器人指令进行操作；并且在其开发实验室的不断完善下，生成图片的质量实现了大幅提高，成为最受欢迎的AI绘制程序。
进入AI绘画时代之后，AI也开始逐渐挑战人类在艺术创作中的地位。2022年8月，一幅利用Midjourney创作的AI画作《太空歌剧院》在科罗拉多博览会的数字艺术比赛中获得金奖。创作者先利用Midjourney生成许多张AI绘画，选取其中效果比较好的3张，用PS进行细化，最终选择其中一张参加比赛。在获得金奖之后，创作者公布了《太空歌剧院》由AI创作的消息，引发巨大争议。然而比赛评委表示，即使他们知道该画作是由人工智能创作的，也会给予第一名的奖项。
今年年初，一位科幻漫画家@Rootport出于兴趣，在Twitter上发布了他利用Midjourney创作的漫画《赛博朋克桃太郎》，故事的剧情与人物设定由漫画家亲自制订，但所有的画面都由AI绘图完成。本意是当作游戏玩玩的AI漫画却受到广泛关注，应粉丝热情，作者还将漫画印制成书。
目前已经有一些工作室或公司正在探索如何将AI技术应用于二维帧序列动画制作中，以创作出不同风格的作品，或者提高动画制作的效率。 以下是我们整理的一些应用了AI技术的动画作品。
今年1月，Netflix、rinna株式会社、WIT STUDIO合作制作的短片动画《狗与少年》讲述了一个温情故事。小男孩偶然间救下一只机械小狗，与他结下深厚友谊，但因为突然爆发的战争，一人一狗被迫分离。小狗苦苦等待男孩几十年后，年老的小男孩终于找到小狗，最终团聚的故事。
在这部短片中，制作团队大胆运用AI技术辅助背景绘制。在短片制作中，背景制作采用了AI+人工的工作流，首先由人绘制背景的构图，然后由AI生成细节，再利用AI对已生成的图片进行细化。经过两次细化，AI生成的背景仍然出现细节模糊、毛躁的问题，很难直接用于实际使用，所以最后需要画师对背景图进行手修。
从片尾放出的花絮来看，在设计这个“废弃铁路”背景时，画师绘制的构图中包含了关于轨道、山坡、倒塌的建筑、雪等细节。然而AI第一次生成的图片更像是根据构图进行的随笔涂鸦而非真实背景。比如AI生成的轨道没有并行的两条铁轨，看上去更像是几根木柴堆成的废墟，显得十分不真实。第二次生成中，工作人员降低了生成的细节程度。虽然导致了图片变得模糊，但整体构图得以凸显。相比第一次生成的图，终于看得出这是一个废弃铁道的场景了。最后由画师进行细化，才得到了用于动画之中的背景图。然而，可能是画师过于迁就AI，修改之后的图片仍然算不上合格的背景图。模糊的细节，杂乱的色彩，不真实的质感，这些问题都不应该出现在一个好的动画背景中。
另一个AI动画的代表作品是由美国的视频制作团队Corridor Crew创作的《剪刀石头布》。今年2月上线w+点赞，引发大量关注。
动画讲述了两个王子通过剪刀石头布的游戏来争夺王位继承权，通过对战过程中两人相互揣测对方的心理，进行激烈的交锋，随着斗争的进行，一系列阴谋逐渐显现的故事。
本片先由演员（也就是制作团队）在绿幕前进行表演，录制了相关视频，同时利用Unity等工具制作3D背景和其他的物品素材，再将录制的视频和制作的背景剪辑到一起，最后逐帧导出，让AI工具去逐帧生成图片，最终变成现在观众所看到的样子。因此，动画中的角色形象实际上与真实演员的形象十分相近。
值得一提的是，本片使用了经典动画《吸血鬼猎人D》的风格，但由于原作中并没有与两位演员相似的形象，为了稳定最终生成动画的风格，制作团队一方面拍摄大量各种角度的演员照片，让AI记住演员的特征，另一方面用《吸血鬼猎人D》的风格绘制了多个与演员形象类似的角色图片，加入到素材库中，最终生成的动画才能保证人物形象特征与风格的稳定。
Corridor Crew遇到的这些问题其实也是AI生成图片经常会遇见的问题。AI难以控制画风与细节特征，容易导致前后生成图片中风格与细节的不稳定。当这些不稳定的图片逐帧连接起来时，就会发生奇怪的“闪烁”现象，可能前一秒生成的角色形象还是女巫师，后一秒就变成了男骑士。为了避免这个问题，在前面的基础上，Corridor Crew还使用了一个AE插件来平滑动画效果。
Corridor Crew认为：“工具并不会取代那些会动画和会画画的人，制作精彩的动画仍然需要动画师的核心技能。但AI的出现创造了一个‘民主化动画’的可能性，所有人都能用AI工具去把自己的动画想法变成现实，表达自己的故事”。
当所有人还在讨论AI动画技术能否用于真实动画生产场景之中时，已经有公司开始采用AI技术制作广告动画了。一个月前，可口可乐发布了一段采用AI技术辅助动画生成的广告。
可口可乐公司的广告《Masterpiece》是一部以艺术博物馆为背景的短片。沃霍尔的波普艺术杰作可乐瓶被其他画作中的角色拿出，特纳的《沉船》，蒙克的《呐喊》和梵高的《阿尔勒的卧室》等作品中传递出来，最后被维米尔的《戴珍珠耳环的女孩》拿到，放在了需要它的学生面前。在不同画作传递的过程中，可乐瓶随着画作的风格变化出不同的外观。特效制作团队Electric Theatre Collective和创意团队Blitzworks混合使用真人镜头，数字效果和AI动画等技术，让这一系列著名画作“动起来”，完成了可口可乐的传递。
虽然AI技术的应用仍然会带来抖动缺陷，但制作团队采用了很好的方式来解决这一不和谐的问题。《Masterpiece》中，以梵高画作《阿尔勒的卧室》的场景举例，因为梵高绘画的粗犷狂野又带有流动性的笔触，抖动的问题反而增强了其原本的风格特点，并不违和。无独有偶，前几年全油画制作的致敬梵高的电影《星空之谜》中也出现了类似的抖动现象，可以说，AI在此处体现出来的缺点反而成为增强动画风格的一种表现。
AI技术在动 画制作领域的应用可以分为两种，其一是改进传统动画制作流程中的一些问题，提高制作的效率；其二是降低技术门槛，帮助普通人低成本完成一部动画的制作。
本文整理出传统二维帧序列动画作画的主要流程如下图所示。在这个流程中，许多环节需要大量沟通或者大量人力成本来解决。而AI技术的运用可以用来解决这些问题。
AI绘画低成本大量出图的特点，正好适用于美术设定上的沟通。在美术设定方面，通过导演、编剧等人员先用文本表达出设定细节，然后使用AI工具快速大量生成图片，探索不同风格，不同细节，由人经过筛选之后，选择适合的图片，再交由美术设定画师进行细化修改。在此期间，AI能起到探索风格、帮助确定细节以及提高沟通效率的作用。
除了美术设定图，AI还能低成本产生可用于各个流程沟通对接的图片，诸如背景设定图、动画氛围图、特效预览图等等。在这些领域上，AI的应用前景十分广阔。
而对于直接影响动画最终画面表现的原画、动画、上色等流程上，目前AI能力还差强人意，并不能直接使用AI来生成相关图片。《狗与少年》中，用AI辅助绘制的“静态”背景尚且达不到人绘制背景的要求，更别说原画、动画这种需要“动起来”的部分了。在这些部分上，AI目前还看不到超越人类的希望。
不过，这几年动画业界也逐渐注意到，动画、上色这类繁琐工作效率较低的问题，也开始开发相关的应用。以CACANi为代表的软件可以实现自动补全中间帧、以及自动上色。虽然软件的应用仅限于一些动作幅度不大的场景，但也具有巨大的应用潜力。随着AI绘画技术的快速发展，或许某一天，AI的技术已经成熟到能生产足够精细的作画了，这样的话，动画制作者也能专注于释放自己的创意，生产更优秀的动画作品。
另一个方向上的应用更具有想象力。AI赋予一个没学过画画的人也能进行绘画的能力，相应的，AI也能帮助普通人低成本完成一部动画的制作。以《剪刀石头布》为代表，AI具备很强的风格化能力，可以将一段动画、CG、实拍视频转化成任意风格的动画。对于普通人来说，有了AI之后，无需学习绘画、动画制作的技巧就能完成一部动画的制作。
像《剪刀石头布》的制作过程，其实就是提供一种普通人制作动画的可能性。在完成脚本与剧情设计的情况下，通过AI技术将实拍视频渲染成二维动画，一下子就将动画的制作门槛降到最低：甚至可以说，只需要一个摄像头加一个软件，就能实现动画的制作。虽然目前制作一部《剪刀石头布》，背后需要大量的布景、道具支撑，还需要技术人员对软件程序进行、对渲染生成的图片进行精修。而且，制作出来的动画质量上也远远不及商业动画公司制作的动画，但对于大众来说，这已经足以满足创作欲望了。
除了实拍，也可以采用手绘草图或者使用3D模型渲染一段视频的方式，让AI对产生的视频进行风格化。这些方式实际上都不具备高的技术门槛，普通人就能做到。
AI技术在动画制作领域中的应用前景相当广阔，但现如今AI技术本身也还存在一定缺陷。 对于商业动画公司来说，支撑动画的每一帧画面并不是随机的图像，也不仅仅靠作画技巧，而具有内容连续性。 主流AI绘画技术Stable diffusion和Midjourney能以低成本快速生成大量具备多样风格的图片； 然而出图质量较低、内容不可控，细节粗糙等问题也十分严重，同时高昂的硬件成本也不是一般公司或者普通人能承担得起的。 以当前AI的技术能力来说，用AI技术生成的图片来作为参考，或者用于各部门之间的沟通是最好的，也可以提高整体的效率。
对于普通大众来说，不需要付出商业公司的高昂成本，也不追求商业动画的利益回报，能凭借AI的技术进步，打造一部自己理想的动画，这难道不酷吗？虽然AI技术还需要解决风格不统一、细节太少、抖动等一系列的问题，但是，从《剪刀石头布》中我们已经能窥见这一套工作流的雏形。
当今的AI绘画技术已经到达了一个奇点时刻，未来会有什么样的巨大变化难以预测和获知。但AI现有的技术，已经能为动画制作这一领域带来许多可能性，未来如何发展也非常值得期待。
扫一扫关注微信公众帐号
