跳到正文
arXiv cs.MA· Constan\c{c}a De Herdeiro Cachim, Andrea Martin, Nicola Bastianello·· 10 小时前AI 评分20

D-GS:面向分布式超参数调优的分布式网格搜索

Distributed Grid Search for Hyperparameter Tuning

AI 导读

研究者提出分布式网格搜索(D-GS),一种基于共识的搜索方法,可在对等网络中评估并选择超参数配置,仅需能运行被调算法并计算局部梯度。其变体 D-ZGS 以更低成本提升实际表现,两者均被证明在有限时间内终止且所有智能体持有相同配置。在线性回归与逻辑回归实验中,D-GS 接近集中式参考结果,调优与部署成本仅为使用理论结果设定超参数的一小部分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:许多点对点网络上的分布式优化算法的性能在很大程度上取决于其超参数的选择。然而,现有的选择规则往往需要全局量、产生保守的选择,或者与特定算法和超参数绑定。我们提出分布式网格搜索(D-GS),一种基于共识的搜索方法,它在整个网络上评估并选择超参数配置,仅要求能够运行被调优的算法并评估局部梯度。我们还提出一种放大变体——分布式缩放网格搜索(D-ZGS),它以更低的成本提升了经验性能。我们证明两种方法都在有限时间内终止,且所有智能体持有相同的超参数配置,并量化了该配置的(次)最优性。在线性回归和逻辑回归上的数值实验表明,D-GS 与集中式参考结果非常接近,并且调优和部署的成本仅为使用理论结果调优超参数后部署算法的一小部分。
学科: 优化与控制(math.OC);多智能体系统(cs.MA)
引用为: arXiv:2610.41537 [math.OC]
  (或 arXiv:2610.41537v1 [math.OC] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.41537

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Nicola Bastianello [查看电子邮件]
[v1] 2026年10月30日星期五 10:30:27 UTC(637 KB)

来源:arXiv cs.MA · arxiv.org