arXiv cs.AI· Illia Horenko·· 11 小时前AI 评分31
熵视角下的 AI 韧性、数据极简学习与最优控制
Entropic perspective on AI resilience, data-minimal learning and optimal control
AI 导读
一项研究从熵优化视角提出对抗攻击算法，可基于低成本可验证的数学判据证明对抗攻击的全局最优性与唯一性。该视角还催生“自攻击”学习算法，用数学判据替代训练中的一个智能体来生成最优新数据点。在流体力学与生物医学的合成及真实问题上，这类算法能用少得多的训练数据训练出简单数个数量级的模型，复杂度和预测性能均优于随机森林、深度神经网络及基于 Transformer 的基础模型等当代 AI 工具。
正文 · AI 翻译
摘要：在对抗攻击和生成对抗网络（GAN）等通用术语背后，诸如 AI 韧性和 AI 鲁棒性等标准在试图使新兴 AI 工具可靠、节能和安全方面变得至关重要。从数学角度来看，这些问题归结为找到一个数学上严谨的量化方法，用以衡量函数自变量的最小充分扰动，这些扰动会导致近似函数值的最大可能扰动。本文提出从人工智能（AI）的熵优化视角来审视对抗算法，以攻克这一问题。研究表明，采用这一视角有助于基于可廉价验证的数学准则，证明对抗攻击全局最优性和唯一性的计算条件。进一步地，本文展示了如何利用这一视角开发自攻击学习算法，该算法能生成用于训练的最优新数据点，并以这一数学准则替代其中一个训练代理。在来自流体力学和生物医学的广泛多样的合成与真实问题中，研究表明此类自攻击学习算法能够训练出简单和廉价数个数量级且性能更优的模型——并且可用于直接训练复杂系统中的最优控制，仅需一小部分训练数据，并在复杂度（以模型描述符长度衡量）和预测性能上优于作者所能找到的最全面的当代 AI 工具集合（如提升随机森林、深度神经网络、基于 transformer 架构的基础模型等）。}
| 学科： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| MSC 分类： | 68T01（主分类），68T99，68Q32，86A22，92C50（次分类） |
| 引用为： | arXiv:2310.14421 [stat.ML] |
| （或 arXiv:2310.14421v5 [stat.ML] 为此版本） | |
| https://doi.org/10.48550/arXiv.2310.14421 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Illia Horenko 博士 [查看邮件]
[v1]
2023年10月19日 星期四 10:36:02 UTC（4,342 KB）
[v2]
2023年11月6日 星期一 15:57:27 UTC（4,348 KB）
[v3]
2023年11月14日 星期二 18:13:13 UTC（4,449 KB）
[v4]
2023年11月15日 星期三 11:05:34 UTC（4,449 KB）
[v5]
2026年10月20日 星期二 11:25:18 UTC（5,919 KB）
来源：arXiv cs.AI · arxiv.org