arXiv cs.MA· Jin Li, Ahmed Murtadha, Zhiyu Wang, Qiwen Chen, William Chen, Yifei Wu, Guan Wang, Cheng Gong, Andy L. Siy, Jiayi Yang, Mengsha Huang, Wenhao Li, Yixuan Liu, Shuailin Pan, Mingli Yuan, Sen Song, Yuhao Sun·· 2 天前AI 评分62
Praxist:把实验产物转化为可追溯的解法谱系
Praxist: From Experimental Artifacts to Solution Lineages
AI 导读
论文提出 Praxist,一个以谱系为中心的代际系统,把可复现产物与评测结果转成带类型的证据图、分道前沿和议程,让后续尝试继承已验证机制与未决问题。
正文 · AI 翻译
作者:Jin Li, Ahmed Murtadha, Zhiyu Wang, Qiwen Chen, William Chen, Yifei Wu, Guan Wang, Cheng Gong, Andy L. Siy, Jiayi Yang, Mengsha Huang, Wenhao Li, Yixuan Liu, Shuailin Pan, Mingli Yuan, Sen Song, Yuhao Sun
摘要:自主研发智能体如今能在自动评估下编写、运行并改进可执行产物——但很大程度上仍只是实验室工具:在精心挑选的基准上展示,其收益难以追溯到具体原因,成本也远高于持续工程实践所能承受的水平。这一局限是结构性的。大多数系统将每次尝试视为近乎自包含的,因此日志、记忆和搜索树只记录了发生了什么,而没有确定是哪个设计要素带来了改进、其证据是否通过了验证,或者它如何与其他要素重新组合。因此,长期攻关会不断重复学习同样的教训。我们提出 Praxist,一个以谱系为中心的分代系统,它将可复现产物和评估器结果转化为由发现、泳道式前沿和议程构成的类型化证据图。将局部产物构建与群体级证据综合分离,使后续尝试能够继承已验证的机制、未解决的论断和有用的约束,并让结果附着于可审查的谱系之上。在标准化的 75 项任务 MLE-bench 套件上,最终官方评分器结果给出 Praxist 60 枚奖牌(80.0%),其中 49 枚金牌,而 Claude Code 基线在 Claude Opus 4.8 上为 55 枚奖牌(73.3%)和 34 枚金牌——记录的模型支出为 3054 美元对 38370 美元,约为其十二分之一。五个案例研究——量化交易、LiDAR-惯性-视觉 SLAM、托卡马克磁控制、火箭着陆和作业车间重调度——将同一流程带入开放式工程问题,在主要准确率、存活率或资源成本上均优于各任务原生基线,且发现路径有记录可查。以低一个数量级的支出获得更强的产物,且每个都有可审计的谱系,据我们所知,这是首次被汇集在一起:这是生产级研究所需要的运行特征,而非基准演示所确立的特征。
| 主题: | 多智能体系统(cs.MA);软件工程(cs.SE) |
| 引用为: | arXiv:2608.25955 [cs.MA] |
| (或 arXiv:2608.25955v2 [cs.MA] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.25955 arXiv 颁发的 DOI,经由 DataCite |
提交历史
来自:Yuhao Sun [查看电子邮件]
[v1]
2026年8月26日星期三 16:13:05 UTC(2,776 KB)
[v2]
2026年10月15日星期四 09:30:31 UTC(3,171 KB)
来源:arXiv cs.MA · arxiv.org