arXiv cs.CL· Nuan Wen, Chanbin Lim, Xuezhe Ma·· 10 天前AI 评分25
CARE：LLM 能否复现网络社区的真实反应？
Handle with CARE: Can LLMs Reproduce How Online Communities React?
AI 导读
研究者提出 CARE（Community-Aware Reaction Evaluation）框架，用 207 个 Reddit 社区对 2,166 篇新闻文章的 9,947 条真实反应，评测 LLM 模拟社区话语的保真度。结果显示，社区上下文与针对性推理能显著提升宏观态度和语气刻画，但在预测具体事件反应时这些增益基本消失；且社区条件化的收益分布不均，部分社区提升的同时另一些社区反而下降。
正文 · AI 翻译
摘要：大语言模型（LLM）正日益被用作计算社会分析的代理，然而忠实地呈现人类社群的“深描”（Geertz，1973）仍是一项关键挑战。当前的评估往往将社会身份简化为静态标签，忽视了现实世界中的群体如何应对社会变迁。为弥合这一差距，我们提出 CARE（社区感知反应评估），这是一个以反应为中心的框架，用不同社群对现实世界新闻的真实、事件依变反应来对 LLM 模拟话语进行基准测试。CARE 涵盖 207 个 Reddit 社区，覆盖针对 2,166 篇新闻文章的 9,947 条真实反应，并使用涵盖粗粒度态度和细粒度交际语调的层级分类体系评估主流 LLM。我们的实证发现揭示了当前社区条件化范式中的两种关键失效模式。第一，尽管社区语境和定向推理显著提升了宏观层面的态度与语调刻画，但在预测针对具体事件的反应时，这些收益在实例层面基本消失。第二，社区条件化的收益极不均衡：提示策略带来非均匀的偏移，一些社区的保真度提升被另一些社区的性能下降所抵消。这种微观—宏观分歧和社区层面的不稳定性表明，标准条件化使模型能够近似静态基线画像，却无法捕捉动态或公平的事件反应，从而确立 CARE 作为社区感知社会模拟的重要诊断工具。我们的代码和数据可在 此 https URL 获取。
| 评论： | 预印本 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2605.27388 [cs.CL] |
| （或 arXiv:2605.27388v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.27388 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Nuan Wen [查看邮箱]
[v1]
2026年4月12日星期日 07:46:12 UTC（303 KB）
[v2]
2026年10月6日星期二 20:06:55 UTC（334 KB）
来源：arXiv cs.CL · arxiv.org