arXiv cs.CL· Guotao Liang, Haitao Zhou, Biao Liu, Huanxuan Liao, Lingfeng Qiao, Qian-Wen Zhang, Qian Yu, Di Yin, Xing Sun·· 10 小时前AI 评分29
SVGFaith：文本生成 SVG 忠实度指标的两层元评估框架
SVGFaith: A Two-Layer Meta-Evaluation of Faithfulness Metrics for Text-to-SVG Generation
AI 导读
研究团队提出 SVGFaith 两层元评估框架，用于检验文本生成 SVG 的忠实度指标是否真正捕捉细粒度提示词一致性。SVGFaith-Diagnostic 含 1,842 个受控对比对，CLIP 等四个图文嵌入指标在物体识别上成对准确率至少 0.789，但在空间关系和属性绑定上最高仅 0.672。
正文 · AI 翻译
摘要：文本到 SVG 系统通常通过对光栅化输出应用光栅图像指标来评估，但这些分数是否能捕捉细粒度的提示忠实度仍不清楚。我们提出 SVGFaith，一个双层元评估框架，其中每对中更忠实的候选由构造或人工判断确定。SVGFaith-Diagnostic 包含跨八个能力维度的 1,842 个受控对比对，在两个方向上均匀划分：两个渲染结果与一个提示比较，以及两个描述与一个渲染结果比较。SVGFaith-Arena 包含 1,327 个真实生成器输出的人工标注比较。在 SVGFaith-Diagnostic 上，CLIP 和另外三个图像-文本嵌入指标在对象身份上达到至少 0.789 的成对准确率，但在空间关系和属性绑定上至多为 0.672，而随机水平为 0.5。我们进一步提出 SVGFaith-Score，一个可解释的逐点指标。领域调优的分解器将每个提示转换为原子视觉需求的依赖图，视觉问答模型对每个需求是否满足进行评分，当某个需求的前提条件得分较低时，该需求的得分会被折扣。除总体得分外，逐需求得分还显示哪些需求被判定为未满足，以及哪些需求从其前提条件继承了折扣。SVGFaith-Score 在 Arena 和两个 Diagnostic 方向上显著优于所有九个基线，包括一个 Qwen3.5-122B-A10B 评判器。代码和数据：此 https URL。
| 评论： | 27 页 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.06048 [cs.CV] |
| （或 arXiv:2611.06048v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06048 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guotao Liang [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 06:55:22 UTC（628 KB）
来源：arXiv cs.CL · arxiv.org