跳到正文
热点事件持续更新

研究者构建1.1万争议话题人设数据集并提可控对齐模型

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

研究者构建了1.1万个争议话题与基于Schwartz价值观维度的人设配对数据集,通过智能体流水线迭代优化话题与人设,从对齐良好的商业大模型(LLM)中诱导出有害回复,成功率超过47%。 团队以UNESCO全球公民原则作为区分正当价值表达与有害行为的最小共识,并提出一个可控对齐模型,让用户在推理时平衡人设遵循与安全性。研究者称,该模型在多数样本上比基线更安全且更贴合人设。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    当人设变得有害:用全球公民价值观对齐引导 LLM

    研究者构建了 11k 争议话题与基于 Schwartz 价值观维度的人设配对数据集,通过智能体流水线迭代优化话题与人设,从对齐良好的商业 LLM 中诱导出有害回复,成功率超过 47%。团队以 UNESCO 全球公民原则作为区分正当价值表达与有害行为的最小共识,并提出一个可控对齐模型,让用户在推理时平衡人设遵循与安全性,该模型在多数样本上比基线更安全且更贴合人设。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。