
近年,由于网络的普及,动漫作品流传的速率不停加速,二次元文化的受众数目不停上升,影响局限也越来越普遍。
如去年完结的日漫《鬼灭之刃》就乐成“出圈”,掀起了征象级热潮。原著漫画为2020年日本漫画销量冠军,累计刊行量突破1亿2000万册(含电子版),为第二名的十倍有余。其剧场版动画影戏《鬼灭之刃:无限列车篇》上映后,更是在短时间内突破300亿日元票房,并连续刷新日本影史的各项纪录。
看着日益广漠的动漫市场,一些厂商最先实验行使人工智能来推动漫画生产,希望能实现漫画生产的自动化,在提高生产效率的同时削减人力成本。
Made in AI的漫画
“智能相对论”查到,一样平常的漫画创作历程大致可分为三部份: 一是人物形象设计;二是故事编排,包罗情节、对话等文学剧本的写作;三是角色、场景与分镜设置等漫画绘制。每位漫画家都有差其余绘画气概和叙事方式。
去年,日本铠侠株式会社(Kioxia Corporation)的研究职员与手冢事情室的艺术团队互助,行使人工智能深度学习手艺完整天下上第一部由人类与AI协作的漫画作品《PHAEDO》,高度还原了已故着名漫画家手冢治虫的漫画气概。
为了让人工智能学习手冢的画风与笔触,研究团队网络了十五万张手冢漫画手稿,行使图像识别手艺将其分类符号,将角色面容等图像特征转换为数据,再行使多个NVIDIA V100 GPU和cuDNN加速的TensorFlow深度学习框架(由StyleGAN编写)举行训练和推理。
在角色天生的训练中,研究团队还使用了手冢治虫作品以外的多部差异漫画的人物面目和真实的人脸照片来举行训练,确立匹敌性神经网络模子StyleGAN,让其充实学习差异气概、差异角度的漫画人脸画风。
再使用迁徙学习来整合成千上万个数据点,从粗拙的轮廓描绘逐渐细化至眼睛、嘴唇等细节,让AI所绘制的人像与手冢原作加倍相似。
在剧本创作方面,研究团队将《森林大帝》《铁臂阿童木》和《怪医黑杰克》等上百个手冢治虫的漫画作品剖析为多个段落,作为AI“学习”的工具。
剖析了这些故事后,AI便能自动天生多个故事大钢。但这些由AI创作的故事中存在许多逻辑错误,且只有五分之一具有意义,并充满让人意料之外的情节。
对于AI故事创作的不足,研究团队照样抱持较为乐观的态度,将这些另类的想法和飞跃视为手冢治虫漫画作品之特色。最后,通过手冢事情室艺术团队的人工校正,《PHAEDO》的剧本才得以完成。这部作品已揭晓于日本漫画杂志《Morning》与铠侠的项目网站“TEZUKA 2020”。
影视剧改漫 AI实现自动化
除了现有的漫画作品,真人影集也是漫画的灵感泉源之一。近期,来自信连理工大学和香港都会大学的研究团队提出了一款将视频自动转换为静态漫画页面的AI系统,为人工智能图像天生手艺开拓了新的应用蹊径。
与前阵子在各大社交软件上盛行的,将静态照片酿成动画的Avatarify相反。这款漫画天生系统无需用户手动调整,即可将电视延续剧、影戏、卡通等随便种类的影片,自动酿成带有对话框及文字内容的漫画页面。
首先,系统会遵照每段字幕的时间将视频支解成多个镜头,并藉由剖析延续镜头的相似度与对话内容,从中提取要转换成漫画的要害帧画面。再将选取的要害帧源图像转换为是非图像,执行量化与彩色气概化,作育出“漫画”气概的图像。
随后,凭证要害帧的兴趣区域、主要性品级、相互间的语义关系和页面上的面板数目来决议漫画的分格巨细及数目,天生多页面结构。
研究团队通过参考漫画书中对话框形状的多样性,使用三种差其余气泡形状对应差异情绪的语句。并行使一些动漫视频与响应漫画作为训练素材,辅助系统学习识别影片中的声音、字幕情绪与响应的气泡形状。
行使文本总结算法,系统可将相关字幕举行合并,确保对话框中的句子不会太长,增强可读性。再通过谈话人物检测和唇动检测,将带有谈话内容的对话框放置在所属人物周围。
该系统现阶段依然有一些尚待解决的问题。例如要害帧的选择上,一些画面的相似渡过高,仍有多余画面;无字幕的视频,单就语音识别天生的台词易泛起错误。虽然相较于其它方式天生的改漫作品,该系统的回响优越,但总体而言仍处于试验阶段。研究团队示意,下一步希望能行使文本信息天生漫画。
AI漫画家走到哪了
“智能相对论”从《PHAEDO》和AI改漫系统的降生可见,现阶段的人工智能尚未具备自力完成一部漫画作品的能力。在文学艺术的创作上,AI尚未成熟;但在漫画绘制历程中,AI对于画风与笔触的模拟可说是“以假乱真”。
在二次元经济大规模崛起的环境下,中国的动漫产值在近年步步高升,漫画市场规模也出现稳固增进。这两项手艺若实现商业化,可让漫画家们从死板无味的重复劳动中解放,集中央力完成情节、对话设置等艺术原创。不只能加速生产速率,同时也能削减人力成本,可说是具有一定的商业价值。
现在海内部份公司已具备自动制作漫画所需的人工智能图像识别、图像绘制及文本自动天生手艺,可说是具有进入此市场的手艺基础。但漫画自动天生并非只是这些手艺的堆叠与排序,现有的商业应用偏向似乎也并未笼罩漫画创作,还需要特定的数据库和算法模子加以训练。
以人工智能天生动漫图象的手艺为例,现在最普遍的商业模式为面向B端,替摄影软件提供美漫、日漫、3D立体动画气概的图片天生服务。基于天生匹敌网络GAN算法,不少公司都推出了头像改漫、漫画靠山滤镜等服务,可将现实中的景观与人像转酿成二次元动漫画风。
如百度大脑AI开放平台曾与B612咔叽美颜相机互助,为用户提供量身定做的二次元漫画头像定制、油画气概转换服务。
腾讯光影研究室在QQ小天下、微视App、微博等社交平台上推出的“王者脸”、“童话脸”等各种AI特效应用,可将照片和直播视频中的人物马上酿成游戏角色、真人“芭比”或“在逃公主”。
网易游戏《逆水寒》《天谕》的智能捏脸也是基于AI图象天生手艺。玩家上传一张2D照片后,系统可自动天生相似度超高的3D脸部模子,甚至连发型都能自动天生。
这些基于图片识别与天生匹敌网络的AI动漫图象天生手艺可将已有的照片转换为漫画气概,具有影视改漫自动化的手艺基础。但要像TEZUKA 2020项目那样“无中生有”牢靠气概的漫画作品,似乎还需要一些训练。
就这点而言,曾“就读”中央美术学院的小冰或许离AI漫画家更近一些。“学习”两百多位著名人类画家的作品后,小冰可在吸收到文本或其他创作刺激后自力完成原创的命题画作。不仅曾在中央美术学院美术馆举行小我私人画展,还将这项能力应用于丝巾、服装等纺织面料及图案设计,实现商业化。
在故事剧本天生方面,虽然人工智能已具备撰写近体诗、新诗、新闻稿、广告文案等各种文体的能力,但现在对智能写作需求最大、黏性最强的四个市场划分是内容资讯、金融财经剖析、数字营销和行政办公。
因此,海内已实现商业化的AI写作产物大多针对营销、政务等领域,以角色对话推进故事生长的漫画文稿等艺术创作方面的应用较少。
如阿里宣布的“AI智能文案”产物连系淘宝、天猫的海量内容与自然语言算法,聚焦于电商营销文案,可模拟多种气概、自界说字数并实时学习在线样本,一秒内可天生两万条短题目。
金山 WPS 智能写作的训练数据源于权威媒体与政府公然网站,常用于公牍写作。支持文本自动天生、辅助成搞写作、智能素材推荐等服务,在政务系统的笼罩率较高。
“智能相对论”看到,百度智能创作平台也带有自动写作功效,既有针对财经、体育数据的结构化数据写作,另有智能写诗、智能对联等API服务。而小冰框架不仅曾经出书现代诗集,还为万得资讯、华尔街见闻等公司提供金融摘要自动天生服务。
由此可见,虽然制作漫画所需的AI手艺已生长出较为成熟的商业模式,但这些手艺大多被作为单独的服务或产物脱离使用,应用偏向也各有差异。比起其他的AI系统,小冰和百度等同时具备文本写作与绘画能力的人工智能框架可能较有成为AI漫画家的潜力,但现在看来,海内公司似乎并未将人工智能大规模应用于漫画生产,更别说是形成“一条龙”的漫画自动天生产业链。
2015年,中国的漫画产业进入了高速增耐久,并连续保有较高的增进率,在2019年最先进入平稳增耐久。据2020年6月宣布的《2020微博动漫白皮书》显示,微博泛二次元用户同比增进11.4%,延续4年保持增进;54%的动漫用户是内容付用度户。
在二次元用户数目与市场规模不停扩增的今日,消费者逐渐养成为内容付费的习惯,付费商业模式助于刺激生产,创作者们也不停探索新的漫画显示形式。如介于动画与漫画之间的动态漫画、经由用户触摸或摇晃装备而推动内容情节生长的互动漫画。
无论是需要花费大量人力的静态漫画,照样这些制作周期更长、投入成本更高的新形态漫画,若能在内容生产上降低成本、提高产出效率,不只能让作者省下重复劳动的时间精神,得以更专注于打磨作品;也能降低漫画生产门槛,迸发出更多艺术可能。
在“国漫崛起”的现在,使用AI来加速漫画生产似乎是个不错的想法。就像介入《Phaedo》项目的科学家松原仁所说的,AI 和人类互助画漫画是天经地义的未来。