arXiv cs.CL· Ziyuan Wang, Genliang Zhu, Xiaobo Chen·· 10 小时前AI 评分31
多模态模型对等效光谱表示能否做出一致决策？
Do Multimodal Models Decide Consistently on Equivalent Optical Spectra?
AI 导读
研究测试了 d3-nano、Jev 1.13、三种 GPT-6 Luna 配置和 Qwen3.5-2B 在硅超表面与金纳米颗粒实测光谱上的表示不变性与弃答行为。
正文 · AI 翻译
摘要：光谱可以以纳米为单位的表格形式或以光子能量为单位的图形式提供给模型，而决策不应取决于它看到的是哪一种。当回答所需的数据缺失时，模型应当说明这一点。我们在硅超表面（MOCLIP）和金纳米颗粒的实测光谱上测试了表示不变性和弃答行为，标签由数据计算得出。每条光谱以四种表格（nm、$\mu$m、科学计数法、eV）和两张图（nm、eV）呈现，部分光谱会移除查询范围内或范围外的数据。我们评估了决策模型 d3-nano 和 Jev 1.13、三种 GPT-6 Luna 配置以及 Qwen3.5-2B 基础模型。仅改变表示方式，同一模型内的准确率变化最高可达 41 个百分点，主要出现在光子能量表格和图形式上。在相同证据下，以光子能量而非波长提问，使部分模型-视图组合提升 16-50 个百分点，也使另一些下降最多 25 个百分点。当相关极值被移除时，未经适配的模型很少回答“无法确定”。对 d3-nano 进行 LoRA 微调可改善在训练过的表格格式上的比较，但其在不可回答问题上的大部分增益来自一条捷径：只要输入被截断它就弃答。用可回答的截断进行训练可在全部六个随机种子中避免该捷径，在留出结构上，内部截断与外部截断后的弃答率相差 90-100 个百分点；而用同等数量的额外原始任务数据训练时，六个种子中有五个仍保留该捷径。在金光谱上，两个训练集表现相似。用于科学决策的多模态语言模型应在等价表示和缺失证据上接受测试，而不仅仅是平均准确率。我们发布了任务、逐响应结果和分析代码。
| 评论： | 20 页，4 张图，11 张表。代码与数据：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；光学（physics.optics） |
| 引用为： | arXiv:2611.00428 [cs.LG] |
| （或 arXiv:2611.00428v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00428 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyuan Wang [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 22:21:38 UTC（113 KB）
来源：arXiv cs.CL · arxiv.org