研究团队提出评估LLM攻击者判断的自动化框架

Kerri Prinos 等作者提出一个基于 Honeyquest 的自动化评估框架，用于大规模评估 LLM 作为攻击者的判断能力。团队用该框架测试了来自 10 家提供商的 21 个 LLM（参数规模 8B 至超 1T），在 174 条侦察查询上共获得 10,962 条回复，并与 47 人的人类基线进行对比。 该研究以“Honeyquest for LLMs：AI 攻击者的网络欺骗需要重新思考”为题发布在 arXiv cs.CL，结论指向 AI 攻击者场景下的网络欺骗设计需要重新审视。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。