arXiv cs.CL· Indu Panigrahi, Tal August·· 3 天前AI 评分23
让 LLM 按需调整文本复杂度:五款模型在 557 条科学查询上的表现评估
Explain Like I'm 5 or Whatever I Choose: Evaluating the Potential for Interactive Complexity in Language Model Responses
AI 导读
一项用户研究评估了五款不同家族、规模和推理能力的 LLM 能否沿复杂度连续体生成多个科学信息摘要,以支持用户直接操控文本。在 557 条科学查询上,模型虽能改变回答复杂度,但多数变化不一致,复杂度指标朝正确方向移动的比例最高仅 33.67%。
正文 · AI 翻译
摘要:鉴于大型语言模型(LLM)在阅读和查找信息方面的使用日益增多,以及用户需求和背景的差异,直接操作文本可以成为终端用户控制的一种有价值机制。然而,实现直接操作要求模型生成的文本与用户请求的更改保持一致。我们聚焦于这样一个场景,即操控科学信息的复杂度,并探究模型能否沿文本复杂度连续体生成多个摘要,从而使用户能够有效选择和控制。通过一项被试内用户研究,我们确定了可靠的复杂度度量以及模型应如何符合这些度量的标准。我们在 $557$ 个科学查询上评估了来自不同家族、规模和推理能力的五个 LLM。我们发现,虽然模型可以在不同响应中改变复杂度,但大多数变化仍不一致,模型最多只有 $33.67$% 的情况下将复杂度度量朝正确方向调整。
| 评论: | 预印本 |
| 学科: | 计算与语言(cs.CL);人机交互(cs.HC) |
| 引用为: | arXiv:2606.06788 [cs.CL] |
| (或 arXiv:2606.06788v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.06788 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Indu Panigrahi [查看电子邮件]
[v1]
2026年6月5日星期五 00:14:44 UTC(4,050 KB)
[v2]
2026年10月14日星期三 13:55:08 UTC(4,071 KB)
来源:arXiv cs.CL · arxiv.org