基于深度神经网络的漫画手绘图上色方法研究

【摘要】：漫画作为动漫产业的在市场上的第一表现形式,具有更新速度快,传播最新剧情的特点。在各种动漫代理商以及动漫爱好者那里,往往只能获取到黑白手绘图版本的作品,而颜色搭配作为动漫增强表现力的最重要方式之一,有时甚至是决定作品成败的要素,却在更新速度、费时费力等条件下,无法得以展现。如何将黑白手绘图的图像用快速并且较好效果自动完成上色——即漫画手绘图自动上色技术,是一个十分具有研究意义和应用价值,值得研究者探讨并解决的问题。本文针对该问题,基于深度学习理论,研究并且提出了两种基于深度神经网络的漫画手绘图上色方法,取得了较好的效果。主要内容具体如下:1.首先提出一种基于条件生成对抗网络漫画手绘图随机上色方法。网络通过下采样抽取可用于分割区域等的高级特征,还有颜色等低级特征。在上采样过程中,根据学习到的高级特征,数据集的颜色分布和随机噪声着色对应区域。针对随机着色方法的颜色溢出和着色不可控等问题,提出一种改进的基于条件生成对抗网络交互式上色方法。使用交互式的颜色输入作为限制条件,使得网络在根据高级特征对各个区域进行着色时,需要根据区域中交互式输入的颜色信息将区域填充为对应颜色,从而达到颜色可控的目的,同时解决了颜色溢出的问题。为了使得着色的效果和速度更优,还对网络进行了一系列优化,比如使用缩放加卷积代替反卷积解决棋盘效应,使用反转卷积块替换单一卷积学习更多特征信息同时提升前推速度等。2.为了实现上述的两种着色方法,利用爬虫技术从漫画素材网站Safebooru抓取一万张彩色漫画图像数据。用高斯滤波抑制噪声点,再使用自适应阈值处理彩色图像得到手绘图。使用数字图像处理技术生成一种模拟交互式彩色画笔输入效果的数据集。为了验证上述所提出算法的实用性,最后还基于Web技术实现了一个漫画手绘图上色应用。该应用主要包括图像数据采集模块、图像预处理模块、随机上色模块和交互式上色模块等。