arXiv cs.AI· Ioannis Konstantoulas, Iliana Loi, Kyriakos Sgarbas·· 13 小时前AI 评分31
Predicate Neuron:基于梯度的学习中谓词关系的可微量化
Predicate Neuron: Differentiable Quantization of Predicate Relations in Gradient-based Learning
AI 导读
研究者提出 Native Predicate Neuron,一种通过一阶逻辑量化将符号推理能力嵌入标准神经网络的可微逻辑推理模块,用单个可训练参数学习在运算间切换。
正文 · AI 翻译
摘要:在机器学习中,符号推理方法通常依赖静态架构,这阻碍了其与深度神经网络及基于梯度的优化的集成。为解决这一问题,我们引入了原生谓词神经元(Native Predicate Neuron),这是一种可微的逻辑推理神经模块,通过一阶逻辑量化,为标准架构赋予符号推理能力。所提出的神经元通过使用单个可训练参数学习在操作之间交替,从而对关系逻辑进行建模。它具有一种定制的梯度机制,采用双重性质的形式:在训练期间执行硬逻辑操作,同时保持可微性以支持反向传播。通过对其输入和选择状态进行量化,谓词神经元能够逼近连续和非连续函数,有效解决标准深度学习架构难以处理的不连续性问题。我们在 MNIST 和 Wikitext 等基准上,对全连接、卷积、循环和 Transformer 架构中的谓词神经元进行了评估。结果表明,引入谓词神经元总体上可加速收敛、提升准确率并降低损失,在需要单调推理或处理不连续性的任务中改进尤为显著。总体而言,谓词神经元可原生集成到标准神经网络中,以实现模糊逻辑操作,并已在 Keras 和 PyTorch 中提供。
| 评论: | 23 页,9 张图 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.37727 [cs.LG] |
| (或 arXiv:2610.37727v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.37727 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kyriakos Sgarbas [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 12:07:22 UTC(4,573 KB)
来源:arXiv cs.AI · arxiv.org