WorkWorlds:两种公司环境构建方式的Agent评测
热点事件持续更新
WorkWorlds:两种公司环境构建方式的Agent评测
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Yining Hua、Levi Lian 提出 WorkWorlds 评测基础设施,用真实公司历史数据重建制药公司 PharmaCo,在 192 次受控评估中对比“任务专属环境”与“员工真实可见材料”两种环境构建方式。结果显示,按员工真实可见材料构建环境后,智能体的证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%。 但两种条件下,智能体一旦找到所需证据,通过率几乎相同,差距主要来自能否找到证据。WorkWorlds 将公司组件拆分为修订版本、日期和员工席位,可分别调整,以便在任务开始前固定环境、做受控对比。
AI 根据报道生成 · 57 分钟前更新
最新进展11月20日 13:00
WorkWorlds:在任务之前就建好的公司环境中评估 AI 智能体报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIWorkWorlds:在任务之前就建好的公司环境中评估 AI 智能体
研究者提出 WorkWorlds 基础设施,用真实公司历史数据重建制药公司 PharmaCo,对比"任务专属环境"与"员工真实可见材料"两种构建方式。在 192 次受控评估中,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%;但找到所需证据时两种条件通过率几乎相同。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。