arXiv cs.CL· Samra Zafar, Shifa Yousaf·· 10 小时前AI 评分29
学习者如何看待过程感知型 LLM 写作反馈：一项混合方法研究
"I Wrote, I Paused, I Rewrote": A Mixed-Methods Study of Learner Perceptions of Process-Aware LLM Feedback
AI 导读
一项针对 43 名本科英语学习者的混合方法评估显示，基于最终作文、中间快照和击键记录生成的过程感知型 LLM 写作反馈获得较高评价，六个五点 Likert 题项中选择 4 或 5 分的比例在 74.4% 至 95.3% 之间，且经 Holm 校正后六项单侧精确符号检验均显著。
正文 · AI 翻译
摘要：大型语言模型越来越多地提供形成性写作反馈，但大多数系统只评估提交的文本。过程感知系统还可以纳入中间草稿和交互记录，然而获取这些痕迹并不能确定学习者是否认为由此产生的反馈有用、公平，或与其自身的修改体验相符。我们对 43 名本科英语学习者进行了一项收敛式混合方法任务后评估。参与者完成了一篇限时作文，收到了基于最终作文、中间快照和击键记录生成的 LLM 反馈，然后回答了六个五点李克特量表和四个开放式问题。
所有六个题项的评分都集中在高于中性中点的位置。74.4% 至 95.3% 的参与者选择了 4 或 5 的评分，且所有六个单侧精确符号检验在 Holm 校正后仍然显著。修改分析与参与者自述思维过程之间的感知一致性，与整体感知有用性呈正相关，Spearman's $\rho_s=.327$，95% bootstrap CI $[.009,.609]$，$p=.032$，$n=43$。
定性回答通过 LLM 辅助的编码本开发程序进行分析，随后由人工对 14 个二元编码进行独立编码。参与者经常将产品反馈和修改理由描述为准确，而较少一部分人报告了对表面修正、时间限制或修辞意图的误解。这些发现区分了对修改活动的感知检测与对修改发生原因的感知解释。
| 评论： | 8 页，1 张图，6 张表 |
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00009 [cs.HC] |
| （或 arXiv:2611.00009v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00009 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Shifa Yousaf [查看电子邮件]
[v1]
2026 年 9 月 4 日星期五 21:31:04 UTC（93 KB）
来源：arXiv cs.CL · arxiv.org