给一个词就能模仿你的笔迹，Facebook这个AI强大到不敢开源代码( 二 ) 你在纸上写个词

可以学习文本风格表征的 TextStyleBrush
用 AI 生成图像一直在以惊人的速度发展，这种生成技术能够重现历史场景，或者将照片变成梵高等绘画风格。现在， Facebook AI 已经建立了一个可以替换场景和手写文本风格的 AI ，只需要一个单词作为输入。
虽然大多数 AI 系统都可以完成定义明确的、专门的任务，但构建一个足够灵活的 AI 系统，以理解现实场景中文本和手写体的细微差别，具有很大的挑战。这意味着需要了解众多的文本样式，不仅包括不同的字体和书写风格，而且也包括不同的转换，如旋转、弯曲的文字以及图像噪声等问题。
Facebook AI 提出了 TSB（TextStyleBrush）架构。该架构以自监督的方法进行训练，没有使用目标风格监督，只使用了原始风格图像。该框架可以自动地寻找图片真实风格。在训练时，它假设每个词框有真实值（出现在框中的文本）；推理时，它采用单一源样式图像和新内容（字符串），并生成带有目标内容的源样式的新图像。

文章图片

文章图片
该生成器架构是基于 StyleGAN2 模型。然而，它有两个重要的限制：
首先， StyleGAN2 是一个无条件模型，这意味着它通过对一个随机的潜在向量进行采样来生成图像。但 TextStyleBrush 必须要生成指定文本的图像。
其次， TextStyleBrush 生成的文本图像风格不受控制。文本风格涉及全局信息（例如调色板和空间变换），以及精细的比例信息组合（例如单个笔迹的细微变化。
研究者通过内容和风格表征来调节生成器以解决上述限制。通过提取特定于层的风格信息并将其注入到生成器的每一层来处理文本风格的多尺度特性。除了以期望的风格生成目标图像外，生成器还生成表示前景像素 (文本区域) 的软蒙版图像。通过这种方式，生成器可以控制文本的低分辨率和高分辨率细节，以匹配所需的输入风格。

文章图片

文章图片
该研究还引入了一种新的自监督训练准则，该准则使用字体（typeface）分类器、文本识别器和对抗式鉴别器来保留源风格和目标内容。首先，研究者通过使用预训练的字体分类网络来评估生成器捕获输入文本风格的能力。另外，他们使用预训练文本识别网络来评估生成图像的内容，以反映生成器捕获目标内容的效果。总而言之，这种方法能够对训练进行有效的自监督。
实验
表 2 提供了评估不同损失函数、风格特征扩展以及训练 TSB 时 mask 的作用消融实验结果。实验结果显示， TextStyleBrush 生成的图片在 MSE（合成误差）上大幅降低， PSNR（峰值信噪比）、SSIM（结构相似性）均获得了提高。

文章图片

文章图片
表 3 是在三种数据集图像上测得的文本识别准确率。实验结果显示， TSB 的识别效果最好，在 IC13 上的识别准确率为 97.2% ， IC15 上的识别准确率为 97.6% ， TextVQA 上的识别准确率为 95.0% 。

文章图片

文章图片
表 4 提供了生成的手写文本的定量比较，将 TSB 方法与 Davis 等人 [14] 专门为生成手写文本而设计的 SotA 方法进行了比较。FID 分数越低，生成质量越好。显然， TSB 方法优于以前的工作。