PyINE:基于代码执行的可扩展引导与监督框架
研究者提出 PyINE 框架,用带插桩的 Python 程序作为可验证执行基底,实现可扩展的引导与监督。首个版本 PyINE-v1 基于近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体构建,并训练出一个捷径跟随模型。评估显示,数据集层面的汇总性能会掩盖关键失败模式的覆盖不足:低成本学习型监督器常漏掉罕见的捷径错误,而更强的模型检查更均衡但成本显著更高。
研究者提出 PyINE 框架,用带插桩的 Python 程序作为可验证执行基底,实现可扩展的引导与监督。首个版本 PyINE-v1 基于近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体构建,并训练出一个捷径跟随模型。评估显示,数据集层面的汇总性能会掩盖关键失败模式的覆盖不足:低成本学习型监督器常漏掉罕见的捷径错误,而更强的模型检查更均衡但成本显著更高。
Penumbra 是一种对抗搜索方法,从已验证锚点出发,在逐步扩大的编辑预算下寻找使双评估委员会改变裁决的响应,并输出跨越合规边界的两条相邻响应。在匹配预算下,自适应分配在 59% 候选上达到均匀分配全预算的覆盖率;同等记录数下覆盖的失效模式是朴素枚举的 1.43 倍。在金融顾问章程的 60 条筛选义务上返回 144 对合规/违规响应,临床分诊章程的 18 条义务上返回 49 对。
研究者提出一个由 AI 智能体驱动的可微科学软件演化环境,将需求识别、开发与质量评估打通,通过统一微分接口复用导数规则。该工作为物理、化学、生物建模领域的 20 个软件包构建并验证了自动微分扩展,基准测试显示梯度评估与参数估计相比有限差分更省算力。研究驱动的修订使原本不支持的流程实现可微,并修正了科学观测量的导数、消除冗余计算。
研究者提出 SkillScriptBench,一个 350 任务的基准,用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务,另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。
研究团队提出 ROAR,用于系统化统一并分析异构 AI 驱动研究系统(ADRS)的输出。它通过关系型 schema 与解析层归一化不同格式的结果,同时保留数据血缘与时间结构,并支持无需改 schema 接入新系统。基于多个 ADRS 的 900 多次运行语料,ROAR 揭示了相同配置运行可能收敛到不同分数、多数运行早期即获得大部分收益等难以从单一系统观察到的规律。
研究者提出 CPW-Drive,一个闭环 RAG 框架,将中国儒家思想提炼的价值原则与场景案例结合,为自动驾驶决策提供可检索的价值引导,并提出物理感知空间相似度检索(PSSR)方法。
研究发现,模型学会一个事实并不等于学会如何检索它:在请求形式训练阶段见过同一事实五种表述的模型,与只见过陈述句的模型,在后续相同的新事实训练后,从陈述句检索新事实的表现几乎相同,但在其他请求形式上差异显著。作者将答案前的隐藏状态称为上下文状态,五种形式训练的模型对同一事实的不同请求形式会产生更相似的上下文状态;在检索时改变该状态可启用或阻止已学事实的检索,且该效应可跨事实与事实关系迁移。
RIFAR 将可靠性筛选与漂移感知回放选择结合,用冻结的逆动力学模型评估动作与视觉一致性,并优先重选漂移更大的轨迹继续训练。在三个 LIBERO 套件和真实世界实验中,它超越此前基于 WAM 生成式回放的 SOTA,在 LIBERO-Goal 上取得 90.97 AUC,每任务仅保留 320 个历史时间步,约为 50 次演示回放所需步数的 4.9%。
研究用 LLM 两阶段分类流程处理 1,362 家英国上市公司 2020-2025 年的 9,821 份年报,发现提及 AI 风险的报告占比从 2.8% 升至 41.2%,AI 采用披露从 13.8% 升至 45.2%,供应商提及集中于以 Microsoft 为首的主要厂商。
判断模型 Jev 在单次调用中直接输出各选项概率,研究发现其能力边界清晰:在认知反射测试中答对 99% 的反直觉题目,但在需要模拟输入之外信息的任务中失败,如在 ALFWorld 中会把未洗的刀直接放进抽屉。若由代码提供预测或模拟(如 ALFWorld 的前瞻、机器人控制中的物理模拟),Jev 可凭借通用评估能力成为专家级控制器。
针对哈希检索中汉明距离与注意力相关性不匹配的问题,研究者提出分层哈希检索(HHR),通过 Geometry-Aware Key Routing(GKR)和 Learned Hash Projection(LHP)由粗到细提升检索精度。
Rep2Skill 是一个表征引导的 LLM 智能体技能自进化框架,通过建模智能体 rollout 的内部表征轨迹定位偏离成功执行动态的轮次,并将其与执行上下文一起转化为可操作的文本反馈以修订技能。在两个智能体环境和两个开源 LLM 上的实验显示,在同一个 LLM 同时充当执行者与优化器、不依赖更强外部模型的自进化设定下,Rep2Skill 持续优于纯文本方法。
针对 RLVR 训练中视觉主张缺乏图像支撑的问题,研究者提出持久性感知信用门控(PACG),对异常持久的视觉主张衰减正向信用,无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将九项基准三种子均值从 58.1% 提升至 59.9%(DAPO)、从 59.8% 提升至 60.9%(VPPO),并提升 HallusionBench 准确率。
研究评估了直接零样本提示、分阶段工作流和多智能体系统三种 LLM 方法,用六个开放权重模型从间作文献中提取数据。直接零样本提示表现最强且最稳定,相似度调整后 F1 最高为 0.577,但所有方法都远未达到完全准确。在下游分析中,多数模型与方法组合能恢复预测变量与结果变量之间的关系方向,但无法准确估计其幅度。
研究者提出 BMA-GAI 算法,将 LLM 答案验证建模为全局预算下的多属性优质臂识别问题,通过成本感知的候选选择与属性自适应采样,在每次观测中同时完成分配引导与随时有效认证,无需单独确认阶段。该算法获得渐近覆盖保证,并推导出匹配的信息论逆定理,证明其在临界预算之外具有一阶最优性。合成基准与 LLM 答案验证任务实验显示,BMA-GAI 比对比方法更高效地分配验证预算,认证出更多高质量候选答案。
Jev 1.13 在四项医学基准上与 GPT-6 Sol(medium 推理)对比评测:PubMedQA 准确率 78.4% 对 78.2%,MetaMedQA 74.8% 对 82.7%,DiagnosisArena-MCQ 59.8% 对 82.4%,NEJM 病例 61.8% 对 82.4%。
BSDProbe 提出条目级基准结构诊断框架,通过沿经验排序的模型轴重复采样,构建边界位置、边界宽度、边界信号有效性与顺序一致性四维画像,并在六个基准上识别出不同比例的可疑条目。以 Qwen3 同时作为选择轴与参考轴时,其归一化区分度比各基准最佳基线平均相对提升 17.9%,与完整基准的排序一致性也达到或超过所有基线。
研究提出 ESI、CFS、PSS 三项可解释指标衡量临床 LLM 的忠实度缺口,在 150 道 MedQA-USMLE 题、6 个模型共 900 次观测中,仅 23.3% 被引用的临床概念是因果必要的。
研究用两项自动化扰动测试评估六个 LLM 在 150 道 MedQA USMLE 题上的表现:900 次反事实有效性(CFV)尝试中仅 228 次(25.3%)有效,5,400 次人口统计学对比中 1,097 个答案被改变(20.3%),并识别出 3,128 个刻板印象证据标记。
一项针对编码智能体成本低效行为的首次研究分析了 Claude Code 和 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条轨迹,识别出子集检索、相似脚本生成和测试重复执行三种行为,它们影响 79.00%–98.00% 的编码任务,最高占任务成本的 22.75%。
研究团队开发审计机制,在 ToolUniverse 环境中检查 15 个科学工具及其 API 与 wrapper 文档,发现 91 个经人工验证的静默失败——工具调用看似成功,但信息或功能缺失且不通知用户或智能体。
ScholarSeed AI 团队提出 ScholarStack,将论文集合编译为可复用、带版本与溯源信息的三层研究资产:论文级陈述、领域级组织和跨论文证据综合。在覆盖十种任务设置的四个任务族中,使用该资产的智能体在跨论文证据类任务(如多论文问答与文献综述生成)上质量提升,且所有测量任务的查询时 token 成本均下降。
研究团队提出 Spatial-Interactor 框架,通过交互让 VLM 建模物理世界状态转移,并构建了 LSI-108K 数据集,覆盖 L1 被动世界状态转移、L2 主动自身状态转移、L3 长程交互轨迹三级课程。
研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态刻画,发现同一工具在不同任务下的资源表现差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出的 CPU 感知工具准入与任务感知 CPU 分配优化,使 CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。
研究者提出一种推理架构,将设计探索设为实现前的显式阶段:预通过阶段生成带典型性权重的结构化设计规范,由外部策略采样方向,生成器在固定解码设置下实现,候选引出借鉴 Verbalized Sampling。
研究者发布 JaxAHT,首个基于 JAX 的开源 Ad Hoc Teamwork(AHT)库,统一支持队友生成、ego agent 训练与 unseen teammate 评估,相比现有 PyTorch 实现取得约 95x 墙钟加速。
该论文已被作者 Han Luo 因数值错误撤稿。GeoSkill 是一个面向地理空间智能体的经验驱动分层技能学习框架,包含分层技能库(HSB)与协作式轨迹驱动技能修订(CTSR)机制,前者蒸馏任务规划经验与工具使用约束,后者由 Judge、Critic、Refiner 协同定位并修正技能缺陷。在 EarthBench 和 ThinkGeo 上的实验显示其可提升端到端任务准确率与工具执行可靠性。
研究提出 Latent Trajectory Dynamics(LTD)与 Action Representation Probe(ARP)两种方法,从模型内部表征预测多轮智能体任务能否成功。在 Bash、SQL、Python 三个交互基准和 Qwen14B、Qwen7B、DeepSeek6.7B 三个模型上,两方法均优于表层生成与序列校准基线,且无需改动提示词或多轮采样,实现零开销可靠性监控。
arXiv 论文《Style Over Substance》测试了在模型回复前后添加固定风格包装、回复本身逐字节不变时,安全评审结论是否改变。
LayerRoute 是一种动作条件化的表示路由接口,通过 Layer Mixture Router 动态组合缓存的 VLM 层表示,并用 Action-State Reread 复用早期动作表示。
研究者提出基于 LLM 的检索系统 STAIR,利用语料库的全局结构(如目录 ToC)来存储和检索信息,在自建基准 SearchTome 上取得 82.6% 的 Recall@1,高于 DSI 的 76.9%、BM25 的 59.5%、DPR 的 68.7% 和开箱即用的 Mistral 的 13.8%。
EmoStance 通过 emoji 弱监督实现共情回复生成中的回复侧情感取向控制,将多标注者 emoji 分布作为弱情感-态度证据而非输出符号,诱导出近似听者立场的潜在控制空间。
研究提出一种基于 FractalNet 架构的异构联邦学习方法,用于卫星巨型星座的轨道边缘智能,形式化了受接触窗口约束、深度异构的联邦优化问题,并引入按 SWAP-C 约束、星间接触预测和训练统计分配模型深度的分布式路径调度器。
论文将插件式智能体的时空可组合性演算从单进程限制放宽到组件与记录可任意分配到多进程,给出四个充分条件并用定理1证明可逆性保证跨进程成立。基于该定理构建的 Logos 采用 ROS 式的对等进程与名称路由形式,插件即进程,路由表可重建,恢复所需的会话状态存于无归属的追加式记录中。
研究提出 RetailAgent 框架,让 LLM 观察匿名化日内股价历史与允许状态,在收益揭晓前反复选择做多或空仓。在剔除整体做多比例后,做多与空仓区间的收益对比显示,跨模态、周期、状态与模型族均存在持续的负向择时。打乱已保存的动作序列会显著削弱该效应,说明动作与后续收益的对齐驱动了负分;将自撰记忆注入决策会进一步加剧策略持续性。
研究者推出 LoopArena,用于评测一个模型作为 Controller 指导独立固定 coding agent(Worker)完成长时任务的能力,分三类设置:Type I 含 160 道低成本控制选择题、Type II 为 80 个任务切片、Type III 为对应的 80 个完整任务。
研究团队发布 PhysElite,一个面向奥赛级物理推理的大规模双语多模态基准,包含 11,586 道奥赛级题目,每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示,最强模型答案准确率仅 33.7%,研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。
Parason 通过无上下文语法将 LLM 的串行推理轨迹转为结构化并行轨迹,并用 PA-GRPO 训练模型同时学习子任务并行与试错并行。分析显示试错并行占 DeepSeek-V4 在 HLE 推理步骤中可并行计算的 65.5%,且在难题上占比更高。在 AIME24 和 AIME25 上,Parason 平均加速约 1.7 倍并保持有竞争力的准确率。
研究发现 LLM 智能体通过摘要、计划等中间产物交接任务时,上游已确立的判断会被侵蚀——原本"必须满足"的前置条件降级为下游可忽略的提醒。实验中所有权转移导致 76.7% 的阻断条件失效,多跳压缩达 97.2%;固定产物回放中恢复完整阻断描述可将识别率从 6.2% 提升至 99.2%,禁止动作从 85.2% 降至 0.0%。
针对智能体具身框架直接执行动作、不模拟替代动作序列后果的问题,研究者提出 ParallelWorld——一种自适应视界的测试时扩展框架,通过并行模拟与评估多条候选轨迹,由验证器评估中间状态转移、动态剪枝并引导扩展,再选择轨迹仅执行首个动作并随新观测重新规划。在 ESI-Bench 与 LIBERO-Pro 上,该方法分别提升了主动空间推理与语言条件操作的表现。
最多提供 50 页,更早的内容请使用搜索或主题页。