arXiv cs.AI· Xuanlin Yang, Jia Li, Zhouchen Lin·· 3 天前AI 评分30
StructZO：面向内存高效 LLM 微调的结构化零阶优化
StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning
AI 导读
StructZO 是一个结构化零阶优化框架，通过在激活诱导的信息子空间内进行大查询 ZO 估计并施加谱控制，将有效 ZO 估计维度从 mn 降至 mr。在 OPT 系列和 Llama3.1-8B 上，它平均相对最强 ZO 基线提升最高 8.7%，单项任务最高 26.9%，与一阶 Adam 平均差距在 1.5% 以内。
正文 · AI 翻译
摘要：大规模微调大型语言模型日益受到反向传播内存开销的限制。零阶（ZO）优化器仅依赖前向函数评估来减轻这一负担，但与 Adam 等一阶（FO）优化器相比仍存在显著性能差距。我们认为，这一差距并非仅源于缺乏显式梯度：FO 微调还得益于信息丰富的低秩优化几何、大规模信号聚合以及良态的更新方向。受此启发，我们提出 StructZO，一种用于内存高效 LLM 微调的结构化零阶优化框架。StructZO 在激活诱导的信息子空间内执行大查询 ZO 估计，并对所得降维空间更新施加谱控制，再将其映射回原始参数。这使 ZO 能够在紧凑的、几何感知的空间中聚合有用的方向信号，同时避免反向传播的激活和优化器状态内存开销。我们从理论上证明，当诱导子空间捕获集中的优化相关方向时，StructZO 将有效 ZO 估计维度从 $mn$ 降至 $mr$，剩余投影误差由激活 Gram 矩阵的谱尾部控制。在实验中，在 OPT 系列和 Llama3.1-8B 上的多种下游任务中，StructZO 相比最强的现有 ZO 基线平均相对提升最高达 $8.7%$，在个别任务上相对提升最高达 $26.9%$，同时平均与 FO-Adam 的差距保持在 $1.5%$ 以内。这些结果表明，结构化和谱控制的 ZO 更新可以大幅缩小 ZO 与 FO 优化之间的差距。
| 评论： | 20 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16451 [cs.LG] |
| （或 arXiv:2610.16451v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16451 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuanlin Yang [查看邮箱]
[v1]
2026年10月12日星期一 09:16:30 UTC（223 KB）
来源：arXiv cs.AI · arxiv.org