arXiv cs.AI· Pei-lin Li, Qingle Liu, Junyang Feng, Siyu Li, Sunqi Fan, Xin-Sheng Chen, Shuojin Yang·· 3 天前AI 评分29
当上下文误导：大语言模型中的管辖权上下文学习
When Context Misleads: In-context Learning with Jurisdiction in Large Language Models
AI 导读
研究提出 FakeContextBench 基准，覆盖七个领域的伪科学主张，评估发现大规模预训练不足以可靠辨别上下文权威性，主流 ICL 微调方法反而使模型对误导性上下文的易感性增加，现实准确率最多下降 14.95 个百分点。
正文 · AI 翻译
摘要：上下文学习（ICL）已成为现代 LLM 部署的基石。然而，现有的 ICL 后训练方法存在一个关键盲点：它们擅长从示例中提取模式，却往往忽视上下文权威性，即判断上下文信息是否应主导最终答案的能力。为评估这一能力，我们提出了 FakeContextBench，其中包含横跨七个领域的伪科学主张。我们对商业和开源模型的评估表明，仅靠大规模预训练不足以可靠地判别上下文权威性。此外，主流的 ICL 微调方法可能增加对误导性上下文的易感性，使现实准确率相较基础模型最多下降 14.95 个百分点。为解决这一权衡问题，我们提出了管辖权上下文学习（J-ICL），一种将上下文验证纳入训练目标的后训练框架。在四个模型主干上，J-ICL 相较相应的基础模型将 ICLEval 平均提升 5.84 个百分点，将现实准确率提升 9.20 个百分点。相较 MetaICL 和 Symbol Tuning，它还将现实率平均提升 18.09 个百分点。这些结果表明，ICL 能力与对欺骗性上下文的抵抗力可以同时提升。该基准可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.27603 [cs.CL] |
| （或 arXiv:2609.27603v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.27603 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pei-Lin Li [查看电子邮件]
[v1]
2026年9月23日星期三 09:21:14 UTC（2,053 KB）
[v2]
2026年10月12日星期一 06:22:16 UTC（2,994 KB）
来源：arXiv cs.AI · arxiv.org