让AI画漫画角色保持一致的新研究来了！
创作的连环画效果belike：
频繁切换主体、人物之间复杂的互动也能保持角色一致性：
上述效果来自 AutoStudio ，是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。
AutoStudio采用基于大语言模型的 三个智能体 来处理交互，并使用基于 扩散模型 的Drawer生成高质量图像。
实验中，AutoStudio无论是在定量还是定性评估中都优于现有方法。
AutoStudio长啥样？
由于最先进的T2I生成模型在生成令人印象深刻的单个图像方面表现出了卓越的能力，研究界对更复杂的多轮交互式图像生成工作的兴趣与日俱增。
在现实世界的应用中，用户经常需要以交互方式生成一系列图像，其中包括各种任务，如开放式故事生成和多主体多轮编辑。
然而，目前的方法大多数要求预先定义所有轮的生成指令，并且在面对不同的用户指令（如定制、编辑和大量交叉引用）时，很难在多个主体之间保持一致性。
为了解决这些问题，研究团队引入了AutoStudio，这是一个多智能体、无需训练的框架，具有四个特别定制的智能体，利用现成的模型与用户进行即时交互。
他们的目标是引入一个多功能、可扩展的框架，通过多智能体协作，可以将任何所需的LLM架构和扩散骨干结合到框架中，以满足用户多轮生成的多样化需求。
具体而言，AutoStudio包括三个基于LLM的智能体：
最后， 绘制器 基于扩散模型完成基于改进布局的图像生成。
此外，研究人员在绘制器中引入了一个 并行UNet （P-UNet），它具有一种新颖的架构，利用两个并行的交叉注意力模块分别增强文本和图像嵌入的潜在主题特征。
为了进一步解决SD在理解长提示和生成过程中缺失和错误融合主题的限制，研究人员在绘制器中引入了一种主题初始化的生成方法。
接下来是对AutoStudio架构的详细说明。
多智能体协同
研究团队首先引入一个主题管理器Manager，它不仅能为主题及其组件分配ID，还能将用户提示转换为绘图说明。
然后，布局生成器Layout Generator对这些标题进行处理，生成粗略的布局，其中包含每个主题及其组件的边界框和信息。
为了纠正不合理的主体内和主体间空间关系并完善粗略布局，引入了一个监督器Supervisor。
该监督器将粗布局作为输入，并向布局生成器提供建议。
通过这种方式，Supervisor和Layout Generator密切协作， 形成一个布局细化的 闭环流 程 。
此外，研究团队还定义了一组任务介绍，以指导这三个基于 LLM 的代理生成格式正确的响应。
最后，给定细化布局和从主体库中获取的主体信息，绘图器Drawer可以生成与布局对齐且包含一致主体的图像。
主体初始化生成过程
为了解决多ID绑定任务中主体丢失和融合的问题，研究人员 引入主体初始化生成过程 。
这个过程包括对主体粗粒度特征的单独生成，使用提取器提取特征并通过正向扩散映射到潜空间并在全局生成的初始几步进行局部替换。
Stable Diffusion模型中的原始UNet利用交叉注意模块来利用文本特征，但这不足以表示多个主体的空间关系和特征。
因此，研究人员提出了利用免训练布局调整注意力模块的P-UNet。
将UNet层的原始交叉注意模块拆分为两个并行的文本和图像交叉注意模块（分别称为PTCA和PICA）来细化Z，这两个模块具有相同的架构，其主要思想是计算Z与每个主体文本/图像嵌入之间的特征相似性。
AutoStudio效果如何？
研究人员在CMIGBench上利用所选的基准模型对AutoStudio进行了全面评估。
CMIGBench基于故事生成和多轮编辑，包含8000个多轮脚本对话（每个任务4000个）。
研究人员选择了平均弗雷谢特起始距离（aFID）和平均字符-字符相似度（aCCS）这两个定量指标来评估上下文一致性，并选择了平均文本-图像相似度（aTIS）来评估主体间的语义一致性。
结果，AutoStudio 在所有指标上都明显优于之前的方法 。
下图展示了多轮交互式图像生成的可视化结果，表明AutoStudio能够理解用户的自然语言指令，并生成主题一致的图像。
相比而言，Theatergen无法处理人物之间复杂的互动（如拥抱和接吻），而MiniGemini则难以保持主体的一致性。
Intelligent Grimm和StoryDiffusion无法在多回合互动中保持多个角色之间的一致性，并表现出有限的编辑效果。
论文链接：https://arxiv.org/abs/2406.01388项目主页：https://howe183.github.io/AutoStudio.io/
一 什么 连环画
【连环画的特点】 一是连环画的“俗” 这个“俗”，不是庸俗，更不是低级趣味，而是通俗化、大众化。 连环画是人民大众的艺术，是植根于群众土壤中的普及艺术，正因为它通俗而不深奥，人们愿意看，看得懂，才为人民大众所喜闻乐见。 无论老幼妇孺，文化高低，都对连环画情有独钟。 二是连环画的“小” 连环画的俗称叫“小人书”。 一是为少年儿童而专门绘制的，其读者对象自然是小人。 二是在所有书籍绘画中，连环画是体积最小的一种书，开面最小的一种画，其小开本 、小画面，是连环画最鲜明的形象特征。 但正因其小，却显出了连环画的长处，那就是小巧玲珑和便于携带，并且便于置放和保管，容易普及和被人欣赏；它又可小中见大，真正是小人书、大天地”，它的内容包容着波澜壮阔的历史画卷，展示着古往今来的社会风情，揭示着各个阶层的人生真谛，世界风云、纵横历史都浓缩在小小的巴掌般大的连环画上。 三是连环画的“独” 首先，连环画独特的优势在于绘画形式和表现风格的多样性。 它不受画种的限制，大凡钢笔画、铅笔画、中国画、木炭画、油画、水粉画、漫画、版画，甚至剪纸、雕塑等，都可以形成连续的画面，塑造人物形象，叙述完整的故事。 其次，连环画的独特之处表现在它的画面构图上。 它不必拘泥于焦点透视法上，可大量采用散点透视法，使表现的空间更为广阔。 再次，它的独特性体现在文学手法的运用上。 它可以采取倒叙、插叙、回忆、旁白等艺术手法，来刻划人物性格和描述人物心理活动，丰富了艺术表现力。 四是连环画的“雅” 雅，即高雅、美观。 连环画是绘画艺术与文学艺术相结合的产物，是通俗之雅，大众之雅，不但平民百姓喜欢它，文学家、艺术家等知识分子也都痴迷于连环画的欣赏，足见它是我国通俗读物中的一朵奇葩，甚至在世界绘画艺术长廊中也占有一席之地。 正如鲁迅先生所说：“连环画早已坐在艺术之宫的里面了。 ” 从以上特点可以看出，连环画是一种小中见大、俗中有雅、雅俗共赏的艺术。
详细介绍下动漫制作
对于不同的人，动画的创作过程和方法可能有所不同，但其基本规律是一致的。 传统动画的制作过程可以分为总体规划、设计制作、具体创作和拍摄制作四个阶段，每一阶段又有若干个步骤：A、总体设计阶段1）剧本。 任何影片生产的第一步都是创作剧本，但动画片的剧本与真人表演的故事片剧本有很大不同。 一般影片中的对话，对演员的表演是很重要的，而在动画影片中则应尽可能避免复杂的对话。 在这里最重的是用画面表现视觉动作，最好的动画是通过滑稽的动作取得的，其中没有对话，而是由视觉创作激发人们的想象。 2）故事板。 根据剧本，导演要绘制出类似连环画的故事草图（分镜头绘图剧本），将剧本描述的动作表现出来。 故事板有若干片段组成，每一片段由系列场景组成，一个场景一般被限定在某一地点和一组人物内，而场景又可以分为一系列被视为图片单位的镜头，由此构造出一部动画片的整体结构。 故事板在绘制各个分镜头的同时，作为其内容的动作、道白的时间、摄影指示、画面连接等都要有相应的说明。 一般30分钟的动画剧本，若设置400个左右的分镜头，将要绘制约800幅图画的图画剧本--故事板。 3）摄制表。 摄制表是导演编制的整个影片制作的进度规划表，以指导动画创作集体各方人员统一协调地工作。 B、设计制作阶段1）设计。 设计工作是在故事板的基础上，确定背景、前景及道具的形式和形状，完成场景环境和背景图的设计、制作。 对人物或其他角色进行造型设计，并绘制出每个造型的几个不同角度的标准页，以供其他动画人员参考。 2）音响。 在动画制作时，因为动作必须与音乐匹配，所以音响录音不得不在动画制作之前进行。 录音完成后，编辑人员还要把记录的声音精确地分解到每一幅画面位置上，即第几秒（或第几幅画面）开始说话，说话持续多久等。 最后要把全部音响历程（或称音轨）分解到每一幅画面位置与声音对应的条表，供动画人员参考。 C、具体创作阶段1）原画创作。 原画创作是由动画设计师绘制出动画的一些关键画面。 通常是一个设计师只负责一个固定的人物或其他角色。 2）中间插画制作。 中间插画是指两个重要位置或框架图之见的图画，一般就是两张原画之间的一幅画。 助理动画师制作一幅中间画，其余美术人员再内插绘制角色动作的连接画。 在各原画之间追加的内插的连续动作的画，要符合指定的动作时间，使之能表现得接近自然动作。 3)誉清和描线。 前几个阶段所完成的动画设计均是铅笔绘制的草图。 草图完成后，使用特制的静电复印机将草图誉印到醋酸胶片上然后。 再用手工给誉印在胶片上的画面的线条进行描墨。 4）着色。 由于动画片通常都是彩色的。 这一步是对描线后的胶片进行着色（或称上色）。 D、拍摄制作阶段1）检查。 检查是拍摄阶段的第一步。 在每一个镜头的每一幅画面全部着色完成之后，拍摄之前，动画设计师需要对每一场景中的各个动作进行详细的检查。 2）拍摄。 动画片的拍摄，使用中间有几层玻璃层、顶部有一部摄象机的专用摄制台。 拍摄时将背景放在最下一层，中间各层放置不同的角色或前景等。 拍摄中可以移动各层产生动画效果，还可以利用摄象机的移动、变焦、旋转等变化和淡入等特技上的功能，生成多种动画特技效果。 3）编辑。 编辑是后期制作的一部片。 编辑过程主要完成动画各片段的连接、排序、剪辑等。 4）录音。 编辑完成之后，编辑人员和导演开始选择音响效果配合动画的动作。 在所有音响效果选定并能很好地与动作同步之后，编辑和导演一起对音乐进行复制。 再把声音、对话、音乐、音响都混合到一个声道上，最后记录在胶片或录象带上。 传统的动画制作，尤其是大型动画片的创作，是一项集体性劳动，创作人员的集体合作是影响动画创作效率的关键因素。 一部长篇动画片的生产需要许多人员，有导演、制片、动画设计人员和动画辅助制作人员。 动画辅助制作人员是专门进行中间画面添加工作的，即动画设计人员画出一个动作的两个极端画面，动画辅助人员则画出它们中间的画面。 画面整理人员把画出的草图进行整理，描线人员负责对整理后画面上的人物进行描线，着色人员把描线后的图着色。 由于长篇动画制作周期较长，还需专职调色人员调色，以保证动画片中某一角色所着色前后一致。 此外还特技人员、编辑人员、摄影人员及生产人员和行政人员。
线描怎么画好 。
要画好速写因素很多，但在众多因素中我认为“适合自己的方法”是最首要的。 当面对物象不知所措、无从下手时，那么不妨从与速写形式接近的线描连环画中去吸取经验和处理手法，如：线条的运用和方向、疏密及虚实对比、黑、白、灰的分布配置等等。 在这里特别要提醒一下选取临摹范本一定要结合自己的爱好，从自身出发，这样可以结合自己的偏爱及性情，易取得事半功倍之成效，俗称“容易上手”。 临摹时要有目的性、针对性，解决自己面临的问题，只要仔细体会、感悟、实践，那么你的速写定会有很大进步和起色。 其次是“取舍”处理，它是衡量速写是否成熟和优劣的关键所在。 速写因时间制约，要在短时间内表现出对象的特征，必须要有整体观察能力，表现什么和如何表现？要做到意在笔先和胸有成竹，就能有的放矢，才会做到取舍和概括，下笔才能克服盲目性方可得神助，否则看一眼画一笔是画不好速写的，画出来不是呆板就是琐碎。 好的速写都是统筹画面，对事物做到恰到好处一气呵成，不多一笔不少一笔，笔笔生辉，从而使画面充满感染力。 再有就是黑、白、灰层次处理也很重要。 速写一般是单色（素描范畴），黑、白、灰铺垫在画面形成反衬对比关系显得尤为重要。 黑通过白才能达到极致，而白也需要黑的存在才体现其价值，在黑白二色之间有着广阔丰富的灰面层次，这是绘者要着重刻画深入的地方，这一层次的递进处理如何直接导致画面的丰富性和深入性即是否耐看，画面能否出彩主要就靠灰这一层次来展现。 速写中人物是很重要的内容，也是美术考试中必考的题材。 在进行人物速写前，最好能找些摄影画报一类的刊物，对作品先进行临摹，一是画报中照片人物动态千姿百态、形象丰富多彩且生动，同时人物都是静止的，随你用多少时间对象都保留着完整的造型，并能克服因水平有限而产生怕人围观的胆怯心理。 当你有了一定基础后，面对真人速写就有了一定底气，自信心也增强了，用笔也更加大胆果断肯定，从而形成良性循环，进步也更加显著。 速写是最能锻炼作者眼、脑、手相互协调配合能力的，任何技能都是由生到熟、从量到质的转变过程，古人说：“废纸三千”，可以这么说：“没有画不好速写的画家”，速写是人们认识画家面貌最直接最本质最准确的镜子。 只有长期坚持速写并从中不断体会感悟，速写时就会越发感到表现对象越来越顺手，画面也越来越美妙，速写兴趣也越来越高涨，此时的你面对事物就会情景交融，在你的手中自然而然就描绘出形与神、情与理、物与我和谐精彩的优美速写。
