研究者提出免训练上下文压缩方法ASTC
热点事件持续更新
研究者提出免训练上下文压缩方法ASTC
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Xuning He 等作者提出 Agentic Soft-Token Compression(ASTC),一种面向长程 LLM 智能体的免训练上下文压缩方法。 该方法利用模型原生的混合 Gated Delta Network(GDN)-attention 循环动态判断已吸收的信息,将其作为 agentic soft tokens 向前携带,同时用 hard tokens 保留精确值。 上述效果出自论文自述,尚待独立验证。
AI 根据报道生成 · 57 分钟前更新
最新进展11月2日 13:00
面向长程 LLM 智能体的 Agentic Soft-Token 上下文压缩方法 ASTC报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv cs.CL面向长程 LLM 智能体的 Agentic Soft-Token 上下文压缩方法 ASTC
研究者提出 Agentic Soft-Token Compression(ASTC),一种无需训练的压缩方法,利用模型原生的混合 Gated Delta Network(GDN)-attention 循环动态判断已吸收信息,将其作为 agentic soft tokens 前向携带,同时以 hard tokens 保留精确值。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。