Hugging Face Daily Papers· Dipankar Sarkar·· 20 天前AI 评分31
RegLLM:面向受监管智能体 AI 有限自主性的诊断测试框架
Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance
AI 导读
研究者提出 RegLLM,一个针对受监管智能体工作流中有限自主性的诊断测试框架,可监测引用有效性、来源依据、schema 合规、升级正确性、宪法对齐与不安全动作率六项可信度信号。这些信号按监督来源分为程序化验证器、任务级升级标签和 AI 评委打分三类,并由确定性运行时监督器拦截无依据回答、强制升级并记录干预。同一领域宪法同时用于评估、训练奖励与服务端护栏。
来源:Hugging Face Daily Papers · huggingface.co