arXiv cs.AI· Ilker Oguz, Colin Christian, Christophe Moser, Demetri Psaltis, Gordon Wetzstein·· 10 小时前AI 评分48
编码智能体实现光学神经网络原位训练
In Situ Training of Optical Neural Networks by Coding Agents
AI 导读
研究者提出“optics as code”方法,让编码智能体仅凭测量数据训练光学神经网络,无需逐设备校准或硬件梯度。智能体通过返回探测相机图像的 harness 形成对光学的物理理解,并用可解释光学元件重新参数化网络。该方法在分类和图像编码任务上优于无梯度方法,以更低成本接近经校准模型的反向传播效果。
正文 · AI 翻译
摘要:光学神经网络有望实现快速、节能的计算,但每个器件都会偏离其设计,必须结合硬件进行训练。原位训练依赖于为每个器件由专家构建的校准数字模型,或依赖于无梯度的试错。编码智能体,即编写并运行程序的大型语言模型,已展现出理解并编辑数字神经网络权重的涌现能力。在此,我们提出“光学即代码”(optics as code),一种让编码智能体仅凭测量数据训练光学神经网络的方法,其通过一个测试框架实现:该框架返回其探测的相机图像,并要求每次请求都给出一个假设。我们发现,该智能体能形成对光学的物理理解,并用在硬件上调谐的可解释光学元件对网络进行重参数化。它在分类和图像编码方面优于无梯度方法,以极低的成本接近通过校准模型进行的反向传播。由于既不需要逐器件校准,也不需要穿过硬件的梯度,并且随着模型能力增强而提升,“光学即代码”为构建大规模、可扩展的光学神经网络提供了一条实用途径,也为校准和优化光学实验提供了一种通用工具。
| 评论: | 14 页,4 幅图。我们的项目网站位于 此 https URL |
| 主题: | 光学(physics.optics);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23875 [physics.optics] |
| (或 arXiv:2611.23875v1 [physics.optics] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23875 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ilker Oguz [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 05:29:13 UTC(5,923 KB)
来源:arXiv cs.AI · arxiv.org