arXiv cs.AI· Huu Binh Ta, Alex Morehead, N. Benjamin Erichson, Ferdinando Fioretto, Sandeep Madireddy·· 10 小时前AI 评分20
TCAF:面向多模态材料语言模型的任务感知表征融合
Choosing the Right Representations: Task-Aware Fusion for Multimodal Materials Language Models
AI 导读
研究提出 Task-Conditioned Attention Fusion(TCAF),一种轻量注意力桥接模块,用任务条件化的隐查询将 CHGNet 特征与 Zatom-1 中间层表征结合,直接在下游预测任务上训练,无需单独的对比预训练。
正文 · AI 翻译
摘要:材料科学中的多模态语言模型依赖于有效机制来整合三维结构表示。MatterChat 通过在预训练结构编码器与 LLM 之间使用大型桥接模块,并配合单独的对比对齐阶段来解决这一挑战。我们转而探究该桥接模块能否根据目标性质自适应地选择和组合来自多个结构编码器的表示。我们发现,监督式和生成式材料编码器为性质预测提供了互补信息。我们发现,对于 Zatom-1,这些信息并不集中在最后一层。相反,信息量最大的表示出现在不同深度,具体取决于目标性质。这促成了任务条件注意力融合(TCAF),这是一种轻量级注意力桥接模块,使用任务条件潜在查询将 CHGNet 特征与 Zatom-1 的中间表示相结合。该桥接模块直接在下游预测任务上训练,使表示选择和材料-语言对齐能够联合学习,而无需单独的对比预训练。在分类和回归任务中,TCAF 优于 MatterChat,RMSE 最高降低 47.8%,同时使用的可训练参数显著更少,并将整体训练时间减半。进一步纳入 UMA-S 的实验表明,TCAF 在编码器组合方面具有灵活性,三编码器配置实现了最高的宏平均分类准确率 89.61%。
| 评论: | 已被 NeurIPS 2026 的 AI4Mat Workshop 接收 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24641 [cs.LG] |
| (或 arXiv:2611.24641v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24641 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Huu Binh Ta [查看电子邮件]
[v1]
2026年11月18日星期三 15:48:25 UTC(262 KB)
来源:arXiv cs.AI · arxiv.org