跳到正文
热点事件持续更新

研究:提示词措辞与语气扰动降低多数LLM事实准确率

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Soorya Ram Shimgekar等作者发表预印本研究,用礼貌、随机和逐步升级的毒性措辞改写语义等价的提示词,在ARC-Easy、GSM8K和MMLU上评测7个LLM,发现词汇扰动会降低多数模型的事实准确率并提高预测不确定性,毒性越强准确率越低。 归因图分析显示,扰动会放大对扰动敏感的Variant节点、压过核心推理节点,且毒性分数与Variant节点的激活和影响呈单调上升趋势。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CY
    Prompt PerturbAItions:LLM 回答不一致的机制

    研究用礼貌、随机和逐步升级的毒性措辞改写语义等价的提示词,在 ARC-Easy、GSM8K 和 MMLU 上评测 7 个 LLM,发现词汇扰动会降低多数模型的事实准确率并提高预测不确定性,毒性越强准确率越低。归因图分析显示,扰动会放大对扰动敏感的 Variant 节点、压过核心推理节点,且毒性分数与 Variant 节点的激活和影响呈单调上升趋势。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。