研究:提示词措辞与语气扰动降低多数LLM事实准确率
热点事件持续更新
研究:提示词措辞与语气扰动降低多数LLM事实准确率
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Soorya Ram Shimgekar等作者发表预印本研究,用礼貌、随机和逐步升级的毒性措辞改写语义等价的提示词,在ARC-Easy、GSM8K和MMLU上评测7个LLM,发现词汇扰动会降低多数模型的事实准确率并提高预测不确定性,毒性越强准确率越低。 归因图分析显示,扰动会放大对扰动敏感的Variant节点、压过核心推理节点,且毒性分数与Variant节点的激活和影响呈单调上升趋势。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
Prompt PerturbAItions:LLM 回答不一致的机制报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.CYPrompt PerturbAItions:LLM 回答不一致的机制
研究用礼貌、随机和逐步升级的毒性措辞改写语义等价的提示词,在 ARC-Easy、GSM8K 和 MMLU 上评测 7 个 LLM,发现词汇扰动会降低多数模型的事实准确率并提高预测不确定性,毒性越强准确率越低。归因图分析显示,扰动会放大对扰动敏感的 Variant 节点、压过核心推理节点,且毒性分数与 Variant 节点的激活和影响呈单调上升趋势。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。