跳到正文
热点事件持续更新

ProcessPrefBench 评估跨任务过程偏好迁移

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Yiwen Yang 与 Guanming Liu 提出并发布 ProcessPrefBench,用两位知识工作者三个月的自然对话构建 66 个源-目标案例,测试模型能否把一次对话中暴露的过程偏好迁移到未重述该偏好的后续任务。 相比只给目标提示,提供完整对话历史和指令化蒸馏偏好提示分别把偏好实现度提升 0.204 和 0.244 分(0-2 量表),但蒸馏提示并无可靠优势;同时,捏造证据的失败率从 5.8% 分别升至 10.1% 和 10.4%。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.CL
    ProcessPrefBench:评估自然人机交互中个体过程偏好的跨任务迁移

    ProcessPrefBench 基于两位知识工作者三个月的自然对话构建 66 个源-目标案例,测试模型能否把一次对话中暴露的过程偏好迁移到未重述该偏好的后续任务。相比仅给目标提示,完整历史和指令化蒸馏偏好提示分别将偏好实现度提升 0.204 和 0.244 分(0-2 量表),但蒸馏无可靠优势。捏造证据的失败率同时从 5.8% 升至 10.1% 和 10.4%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。