arXiv cs.CL· Ning E, Changde Du, Yizhuo Lu, Huiguang He·· 10 小时前AI 评分31
通过行为衍生语义维度将多模态大模型对齐人类认知的潜在结构
Aligning MLLMs with the Latent Structure of Human Cognition via Behavior-Derived Semantic Dimensions
AI 导读
研究者提出一种框架，利用基于 470 万次人类 Odd-One-Out（O1O）判断构建的 66 维行为衍生语义嵌入空间，为每个三元组推断最显著的决策维度并生成维度依据的语言理由，使多模态大模型同时学习选择与符合人类行为标准的解释。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在广泛的推理任务中取得了令人瞩目的表现，但其内部表征与决策标准是否与人类认知的潜在结构相一致，目前仍不清楚。在本工作中，我们提出了一个新框架，使 MLLMs 与人类相似性判断背后的多维心理表征对齐。我们基于一个先前建立的行为衍生语义嵌入空间，其中对象沿 66 个可解释维度表示，这些维度源自 470 万次人类 Odd-One-Out（O1O）判断。对于每个三元组，我们推断最显著的决策维度，并将其转换为以维度为基础的语言化理由。这使 MLLMs 既能学习最终选择，也能学习与推断出的行为标准相一致的理由。实验结果表明，我们的方法提高了模型与人类相似性判断的一致性，同时在标准多模态基准上保持了有竞争力的性能。此外，使用搜索光表征相似性分析（RSA）在独立的 fMRI 自然场景数据集（NSD）上，我们观察到模型与人类之间的表征对齐度提高。最终，我们的发现指向一条数据驱动的路径，将人类认知结构纳入 MLLMs 对齐。代码可在 \href{此 https URL}{此处} 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41951 [cs.CL] |
| （或 arXiv:2610.41951v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41951 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Huiguang He [查看电子邮件]
[v1]
2026年10月30日星期五 16:06:08 UTC（22,511 KB）
来源：arXiv cs.CL · arxiv.org