跳到正文
arXiv cs.AI· Hyojung Han, Ryangkyung Kang, Youngeun Kim, Seung-Hun Jeon·· 3 天前AI 评分31

企业策略决策该用学习还是推理?27B 韩语企业模型上的对比研究

When Should Enterprise Policy Decisions Be Learned, and When Should They Be Reasoned?

AI 导读

研究固定一个 27B 韩语企业模型,比较策略决策用生成 JSON 还是单个受限 token、以及是否先推理。在 2800 条分布内样本上两条部署路径准确率无差异(93.46% vs 94.14%),但重启稳定性相差约十倍(动作翻转 3.00% vs 0.29%)。在 300 条由隐藏可执行策略标注的封存基准上,推理带来 +17.3 分的精确动作提升;关闭推理时两种接口格式差异为 0.0 分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:一个在书面政策下作答的企业智能体,在开口之前必须先选择一种动作:回答、询问缺失的事实、请求确认、调用一个或多个工具、升级处理或拒绝。在固定一个 27B 韩语企业模型的情况下,我们改变决策是生成一个 JSON 对象还是单个受约束的 token,以及模型是否可以先进行推理。
在 2800 个分布内条目上,我们未检测到两条部署路径之间存在准确率差异(93.46% 对 94.14%),而它们在重启稳定性上相差约十倍(3.00% 的动作发生翻转 对 0.29%);它们在推理上也存在差异,因此这是一项操作性比较。
在一个由 300 个条目组成的密封基准上,其标签来自一个隐藏的可执行策略,推理在精确动作上价值 +17.3 分 [+12.3, +23.0]。在关闭推理时,格式差异为 0.0 分 [-4.3, +4.0],这是未能检测到任一接口的优势,而非等价;在开启推理时则尚无定论。相对于 token 匹配的随机对照,边界定向监督将两个被覆盖的边界分别移动 +17.5 和 +20.0 分,并使一个留出边界保持不变。在一个 3 种子训练 x 推理析因设计中,密封渲染交互作用为 -4.9 [-8.1, -1.7],与部分替代一致。
所有监督均为韩语。在独立渲染的英语版本上,开启推理时模型低 0.82 分 [-2.68, +0.93],与用韩语重新渲染处于同一量级;定向监督带来的关闭推理增益在两种语言中都不稳定,因此我们不声称存在迁移。
原始文本作为确证集保持私密。在这些结果之后进行的一次开放模型重新渲染复现了推理效应和英语结论;交互作用保持了符号,但在按条目聚类的区间下未能复现。我们发布该模型以及带有金标签的重新渲染。
评论: 43 页,17 张表,9 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2610.17643 [cs.AI]
  (或 arXiv:2610.17643v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.17643

arXiv 颁发的 DOI 经由 DataCite(待注册)

提交历史

来自:Ryangkyung Kang [查看电子邮件]
[v1] 2026 年 10 月 13 日星期二 03:14:12 UTC(566 KB)

来源:arXiv cs.AI · arxiv.org