光之国，科学技术局。http://m.baijiawenxue.com/chapter/762875/

    希卡利的实验室。

    “希卡利，今天可是很难得的休息日哎，你还要呆在科学技术局里面工作吗？”

    梦比优斯一副百无聊赖的样子对正在摆弄着青色数据板的希卡利说着话。

    “这些工作比较重要，总不能留到明天去做吧。”

    希卡利一边耐心地对梦比优斯说着话一边看着眼前的青色光屏，时不时地用蓝色的手指划来划去。

    突然，“希卡利！！！”

    梦比优斯突然大声地呼唤出了蓝族科学家的名字。

    “嗯？”

    “快速问答！！！”

    梦比优斯大声地对希卡利说着话。

    “什………”

    完全状况外的希卡利还没反应过来是怎么回事呢，就本能反应地把头抬了起来，看着眼前的小战士梦比优斯。

    “果汁还是咖啡！”

    “………咖啡？”

    希卡利有些迟疑地回答了梦比优斯的问题。

    “真是的，希卡利！不要犹豫直接回答啦！”

    梦比优斯有些不满意地对希卡利说着话。

    接下来是梦比优斯对希卡利的快问快答。

    “乌冬还是咖喱！”

    “乌冬。”

    “科技局还是警备队！”

    “科技局。”

    “科技局还是梦比优斯！”

    “梦比优斯。”

    “梦比优斯还是咖啡！”

    “梦比优斯。”

    一开始的时候，梦比优斯对希卡利的快问快答还是很顺利的。

    可是，到了梦比优斯问希卡利这个问题的时候：

    “猫咪还是狗狗！”

    但是，“梦比优斯。”

    这一次，希卡利的回答，仍旧和前两个梦比优斯问的问题得到的答案一样，是梦比优斯。

    “！！！”

    “希卡利真是的……没有这个选项啦///—///……”

    梦比优斯害羞的脸通红地对希卡利说着话。

    “哈哈哈。”

    希卡利看着害羞的梦比猫猫，轻松地笑了起来。

    因为，梦比优斯平时和希卡利在一起的时候，傻白甜小梦是很少能看到希卡利的笑容的。

    但是，梦比优斯现在就已经看到了，希卡利的笑容。

    很好看，很温暖。

    是只属于她的光（希卡利）。

    “但是小梦，我没说错呀。”

    “因为，小梦你就是一只可可爱爱的猫猫呀。”

    希卡利轻松地笑着，对梦比优斯说着话。

    “这倒是没错啦………”

    梦比优斯脸红红地对希卡利说着话。

    “话说回来，希卡利你在弄什么呢？”

    梦比优斯一遍疑惑地对希卡利说着话，一遍探头过来看。

    “我在设计ai，在ai的视觉设计领域中，科学家们往往会因为一些简单需求付出相当多的时间。”

    “比如修改文案内容，设计简单的海报版式，针对不同机型、展位的多尺寸拓展等。”

    希卡利耐心地对梦比优斯说着话。

    好多科技术语啊………

    梦比优斯有些汗颜地这样想着。

    “这些工作需要耗费科学技术局的大量的时间、人力成本。”

    “但是，对我们这些科学家的进步成长起到的作用，却是非常的有限。”

    “另一方面，精准营销是未来的大趋势，在大流量背景下，首页的海报资源展位需要展示“千人千面”的效果。”

    希卡利一副耐心的样子，对梦比优斯说着话。

    “这就对设计海报的智能ai产生的生产效率也提出了非常高的要求。”

    “所以，我们科学技术局尝试结合ai技术，来协助设计师避免这种低收益、高重复的任务。”

    “同时，低成本、高效率、高质量地完成海报图片的生成。”

    希卡利耐心地对梦比优斯说着话。

    “我们尝试总结了对banner设计的理解，banner的设计过程是一系列的具备某种特征属性的素材图层的有序叠加过程。”

    “这里的特征属性既包括颜色、形状、纹理、主题等视觉属性。”

    “也包括位置、大小、贴边等空间属性。”

    希卡利一副耐心的样子，对梦比优斯说着话。

    “在设计领域的一些子问题上，可以用算法来挖掘出数据背后的规律。”

    “素材图层是banner的基础元素，其本身可以被特征化，同时组成banner的若干元素间的叠加顺序可以被序列化。”

    “因此，算法实际是在学习“在什么时候，选择某种素材，到底放在哪里”。”

    希卡利耐心地对梦比优斯说着话。

    “为了解决这个问题，我们设计规划器、优化器、生成器来共同构建海报设计的学习与生产过程。”

    “1.规划器从数据中学习设计师对不同风格下的设计习惯与规律。”

    “2.优化器基于美学质量和设计原则，对前者的输出结果做精细化调整。”

    “3.最后，由生成器选取/生成素材并渲染成图。”

    “4.素材库作为这三个环节的基础，负责素材管理和素材标签化。”

    希卡利一副耐心的样子，对梦比优斯说着话。

    “如何提取素材图片的特征属性，这是比较典型的分类问题。”

    “在计算机的视觉领域，传统方案是提取图像的颜色、梯度等低级语义特征，结合传统的分类器（lr、svm等）来实现分类。”

    “近年来，光之国基于深度学习的方法因为能表达更为复杂的语义特征，逐渐成为了主流方法。”

    希卡利耐心地对梦比优斯说着话。

    “我们科学技术局提取传统的低级语义特征，以及基于cnn的高级语义特征，来共同完成素材特征属性提取。”

    “作为一种生成模型，对抗生成网络（gan）在近年广为应用，其优势是可以端到端地训练图像生成模型，但在我们的应用场景下，gan存在以下两个问题：

    1. gan的过程更像是“黑盒”的过程。”

    “输入方面，虽然conditional-gan之类的方法可以实现某种程度有条件地可控生成。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “但是，对于banner设计任务来说，其输入信息（文案、目标风格、主体信息）仍然过于复杂。”

    “2.输出方面，gan直接生成源数据（即图像），但非常缺乏解释性。”

    “我们需要的是更加直观、更有解释性的信息，比如素材的类型、颜色、轮廓、位置等。”

    希卡利耐心地对梦比优斯说着话。

    “banner设计过程是素材图层依次叠加的过程。”

    “因此，我们可以用序列生成模型来拟合这个过程。”

    “在建模过程中，我们把素材视作词汇（word），海报视作句子（sentence），词汇索引视为离散化的特征索引，素材叠加顺序就可以视为句子中的词顺序。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “我们使用的序列生成模型，输入主体信息和目标风格，输出素材特征的序列。”

    “为了增强预测过程中多条路径结果的多样性，我们在监督性地训练每个时刻的输出之外，还引入了评估整个序列合理性的object loss。”

    “借鉴seqgan的思想，object loss可以由判别器来提供。”

    希卡利耐心地对梦比优斯说着话。

    “规划器预测素材的量化特征，为了确保最终成图符合美学标准，需要一个后处理的过程。”

    “我们需要用优化器来解决这个问题。”

    “从本质上讲，这是一个优化过程。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “我们科学技术局的科学家通过和设计师们的沟通，我们科学技术局设计了一些基于常规设计理念和美学标准的目标函数。”

    “动作集合包括移动、缩放、亮度调整等，结合优化方法，提升banner的视觉效果。”

    “优化后的素材特征序列，通过生成器来渲染成图。”

    希卡利耐心地对梦比优斯说着话。

    “对于素材库检索不到符合某种特征属性的素材的情况，我们设计了图像风格迁移的方法来实现图像特征迁移。”

    “这里的特征可以是颜色、形状、纹理等低级特征，也可以是某种语义化的视觉风格特征。”

    “对后者来说，可以将源图像的内容content和目标图像的风格style在某种特征空间（cnn中的某一层）里做融合，实现风格迁移。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “毕竟，“千人千面”的精准营销是未来营销策略的趋势，这对商品素材的丰富性提出了非常高的要求。”

    “从为宇宙的商家赋能的角度来说，也需要为商家提供更多样的海报版式。”

    “这也要求系统具备海报风格的快速学习能力和拓展能力。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “商品素材的丰富度和美学质量是精细化营销及海报美学质量非常重要的一环。”

    “其中，最核心的要求是图像分割的能力。”

    希卡利耐心地对梦比优斯说着话。

    “以全卷积网络（fcn）为基础，我们采取以下几个在目标分割领域常见的技巧，来实现商品图片的目标分割：

    1. encoder-decoder结构，

    2.空洞卷积，

    3.多尺度特征融合，

    4. two-stage微调网络。”

    “这种基于语义分割方法的结果，在专业设计师人工评审质量的过程中，发现主体边缘有时会出现明显的锯齿感。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “经过分析，我们科学技术局认为有以下两个原因：

    1.语义分割模型把问题建模为一个“像素级分类过程”，每一个像素的类别都天然地被假设为“非此即彼”。”

    “大多数的segmentation模型都采用cross-entropy作为损失函数。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “2.因此，无论是从模型结构（cnn）还是从损失函数的角度来说，分割模型会更倾向于全局信息从而丢弃局部结构信息，导致只能得到边缘比较粗糙的分割结果。”

    希卡利耐心地对梦比优斯说着话。

    “为此，我们在图像分割的输出结果之外，结合了image matting方法：

    1.对分割模型的输出结果做形态学变换，生成三值trimap，分别表示前景区、背景区、未知区。”

    “2.应用常规的matting方法，比如bayen、close-form等，以原图像和trimap图像为输入，输出前景图的alpha通道。”

    “3. matting可以使前景主体的边缘更加平滑，视觉质量更高。”

    希卡利对此则是一副耐心的样子对梦比优斯说着话。

    “另外，基于图像美学质量评分模型，我们会优先选择质量分高的图片作为主体素材来源。”

    “对中低分的图片，未来可以考虑借鉴cycle-gan的思想。”

    “设计基于半监督和gan的图像增强网络，美化后再经过图像分割产生主体素材。”

    希卡利一副耐心的样子，对梦比优斯说着话。

    “上述的常规设计风格的学习属于一种广义的设计风格，需要设计师先期投入很多精力做风格划分以及数据收集、处理。”

    “为了快速适配热点场景，我们借鉴图像检索技术，提取素材图片的cnn特征及颜色特征。”

  &nb