arXiv cs.AI· Blagoj Mitrevski, Arina Rak, Julian Schnitzler, Chengkun Li, Andrii Maksai, Jesse Berent, Claudiu Musat·· 2 天前AI 评分33
InkSight：教视觉语言模型读写，实现离线手写到在线手写转换
InkSight: Offline-to-Online Handwriting Conversion by Teaching Vision-Language Models to Read and Write
AI 导读
InkSight 通过结合阅读与写作先验，将照片中的离线手写笔迹转换为可编辑的数字墨水（在线手写），无需大量配对样本即可训练。该模型首次能有效处理具有多样视觉特征和背景的任意照片手写文本，并可泛化到简单草图。在 HierText 数据集上，87% 的生成样本被视为对输入图像的有效描摹，67% 看起来像人类书写的笔迹轨迹。
正文 · AI 翻译
摘要：数字笔记正日益流行，它提供了一种持久、可编辑且易于索引的笔记存储方式，以向量化形式保存，称为数字墨水。然而，这种笔记方式与传统的纸笔笔记方式之间仍存在巨大差距，后者仍被绝大多数人所青睐。我们的工作 InkSight 旨在弥合这一差距，使纸质笔记用户能够轻松地将其作品（离线手写）转换为数字墨水（在线手写），我们将这一过程称为去渲染。此前关于该主题的研究主要关注图像的几何特性，导致其泛化能力局限于训练领域之外。我们的方法结合了阅读和写作先验，使得在缺乏大量配对样本（这些样本难以获取）的情况下也能训练模型。据我们所知，这是首个能够有效对具有多样视觉特征和背景的任意照片中的手写文本进行去渲染的工作。此外，它还能泛化到训练领域之外的简单草图。我们的人工评估显示，在具有挑战性的 HierText 数据集上，我们的模型生成的样本中有 87% 被认为是输入图像的有效描摹，67% 看起来像是人类描绘的笔迹轨迹。
| 评论： | 被 Transactions on Machine Learning Research 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2402.05804 [cs.CV] |
| （或 arXiv:2402.05804v5 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2402.05804 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chengkun Li [查看电子邮件]
[v1]
2024年2月8日星期四 16:41:41 UTC (42,732 KB)
[v2]
2024年2月21日星期三 00:19:06 UTC (42,731 KB)
[v3]
2024年12月8日星期日 21:05:43 UTC (43,136 KB)
[v4]
2025年6月17日星期二 12:16:51 UTC (13,720 KB)
[v5]
2026年10月14日星期三 16:50:11 UTC (13,728 KB)
来源：arXiv cs.AI · arxiv.org