arXiv·· 12 天前AI 评分24
STAVE:用两个向量替代上下文示例,实现结构化任务适配
Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings
AI 导读
研究提出 STAVE,用两个向量替代上下文示例,让冻结的大多模态模型(LMM)无需每次查询重新编码演示图像。现有免示例方法需按任务搜索插入位置或在每个解码层添加任务参数,任务参数随深度增长,且插入的 token 或 key 无法改变原提示词在层内的注意力分配。
来源:arXiv · arxiv.org