跳到正文
arXiv cs.AI· Robin Sharma, Parisa Suchdev·· 23 小时前AI 评分36

基于 OpenAI 与 Anthropic 模型的网页研究智能体如何解读用户优先级

How Web Research Agents Interpret User Priorities

AI 导读

一项研究用 36 次运行考察基于 OpenAI 和 Anthropic 模型的两个网页研究智能体如何解读用户给出的优先级,任务是比较 Microsoft 与 Alphabet 两家公司。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:网络研究代理在线收集信息并撰写带引用的报告,包括财务分析。用户可以说明一个优先事项来引导这项研究,但优先事项未必说明如何评判各个选项,从而让代理自行选择标准。我们考察了两个分别基于 OpenAI 和 Anthropic 模型构建的此类代理如何理解所说明的优先事项。在 36 次运行中,代理将 Microsoft 和 Alphabet 作为企业进行比较。提示要求特别关注增长或韧性,或未给出优先事项。我们分析了报告、搜索、返回的来源和引用的来源。在给出优先事项的 24 份报告中,有 21 份聚焦于该优先事项,但其标准各不相同。在增长优先事项下,OpenAI 对两家公司进行排名的报告考虑了风险或可预测性,并偏向 Microsoft,而 Anthropic 的报告则根据增长速度评判增长,并偏向 Alphabet。在韧性优先事项下,报告使用了部分不同的标准,且大多数将 Microsoft 列为更具韧性的公司。在测试的搜索和来源指标中,只有 Anthropic 代理的搜索措辞因条件不同而可被察觉地存在差异。这些发现表明,评估应考察报告判断背后的标准,而不仅仅是其关注点或准确性。界面可以让用户查看并调整这些标准。
主题: 人机交互(cs.HC);人工智能(cs.AI)
引用为: arXiv:2611.22989 [cs.HC]
  (或 arXiv:2611.22989v1 [cs.HC] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22989

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Parisa Suchdev [查看电子邮件]
[v1] 2026年11月17日星期二 16:07:00 UTC(189 KB)

来源:arXiv cs.AI · arxiv.org