Agent Skill 框架:中小型语言模型在工业环境中的潜力研究
一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。
一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。
研究者提出 Preping,一个由 Proposer 引导的智能体记忆构建框架,让智能体在接触目标任务前仅靠自生成合成练习构建程序性记忆。
该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架,核心是一个不可博弈的无界数值奖励(如磁盘占用空间或粉丝数),无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标,成功结果用于自我再训练和增量泛化,并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。
研究者提出 EmbodiedMidtrain,通过中训练弥合 VLM 与 VLA 之间的数据分布差距。该方法用轻量可学习邻近度估计器从大规模 VLM 数据池中筛选与 VLA 最对齐的样本,构建 EmbodiedMidtrain-1M 数据集,在 VLA 微调前对 VLM 进行中训练。
研究提出 Atomic-PPO 深度强化学习算法,通过原子动作分解缩减动作空间,以较低算力开销求解电动 Robo-Taxi 的车队调度与充电桩分配问题。基于纽约市真实网约车出行记录标定的仿真显示,该算法能产出接近最优的调度策略,并可作为系统评估工具。实验还表明,充电桩布局应贴合乘客需求分布,充电桩数量与充电速度需均衡投入,且充电基础设施应与车队规模协同规划。
研究者提出轻量适配框架 Resolving Interference(RI),通过将各专家模型解耦为与其他任务空间功能正交,降低模型合并中的跨任务干扰。RI 仅需无标注辅助数据即可应用,在数据稀缺场景下也能使用,将 SOTA 合并方法性能最高提升 3.8%,对未见域泛化最高提升 2.3%。该方法对辅助输入来源稳健,且对合并超参数调优的敏感度显著更低。
研究系统考察了部分 RoPE(仅对一部分隐藏维度施加旋转位置编码)对 Transformer 训练动态与收敛的影响,发现仅对约 10% 维度应用 RoPE 即可达到与完整 RoPE 相当的收敛效果,同时相比标准 RoPE 缓存最多节省 10× 内存。
CoDA 让仿真数据引擎与动作策略通过共享异构记忆协同演化,记忆将视觉语言评论模型验证的诊断编译为生成程序与训练程序。其 Text2potential 把诊断转为分阶段势函数,为动作块价值学习提供稠密监督。
研究者提出 CE-RAG4EM 框架,通过基于分块的批量检索与生成,降低 LLM 实体匹配中 RAG 的端到端开销。在九个真实实体匹配基准数据集上,该框架在零样本设置下取得相当或更优的匹配质量,并在属性模糊或数值稀疏的数据集上显著提升 F1 分数。分析还揭示了分块批量大小与检索粒度上的性能-开销权衡。
研究指出现代 MoE 架构中细粒度专家分割与共享专家之间存在"探索困境":共享专家降低了 token 表示的多样性,削弱路由探索,而细粒度分割又因组合爆炸式扩大的路由空间更需要探索,导致其表达能力难以充分释放。为此提出的 MirrorMoE 通过 token 自适应抑制冗余专家来缩小探索空间,在不同模型规模上均稳定提升性能。
AlignSAE 通过“先预训练、后后训练”的两阶段方法,将稀疏自编码器(SAE)特征与预定义本体对齐,在 GPT-2 上实现精确因果干预,1-hop 概念替换成功率达 94.8%。其解耦效果较标准 SAE 提升 9 至 ∞ 倍(以互信息差衡量),并支持多跳推理与类 grokking 泛化动态的机制探针分析。该方法与模型无关,已发表于 TMLR。
研究者提出 Thinking-Free Policy Initialization(TFPI),通过 ThinkingFree 操作直接丢弃思考内容,衔接长 CoT 蒸馏与标准 RLVR,降低推理 token 消耗。
研究者推出 3DCodeVerse 研究生态,让编码智能体大规模生成可编辑、可验证的 3D 内容,包含 3DCodeVerse-2M 大规模可执行 3D 代码数据集、基于多智能体有向无环图的 3DCodeVerse Harness 生成与优化框架,以及系统性 3D 编码实证研究。
研究发现,LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性,文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见,而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。
SaraCoder 是一个在固定上下文预算下通过分层上下文剪枝提升知识密度的检索增强框架,其 Hierarchical Feature Optimization 模块分四阶段剪枝过完备候选池,再将释放的 token 分配给 External-Aware Identifier Disambiguator,选择性注入最必要的跨文件依赖定义。
CellForge 是一支由自主智能体组成的团队,可端到端完成单细胞扰动建模:从文献调研、数据解析到生成模型假设、编写训练代码并跑实验,最终返回含架构、代码与验证结果的预测器,全程无需人工指定设计、损失或训练协议。
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,研究者提出以事件为中心的一致性评估框架,在事件层面解耦音视频并跨模态交叉验证,聚合成粗到细的三级一致性指标。
研究者提出子空间微调(SST),将每次权重更新限制在底部奇异子空间,消除主方向上的变化,从而缓解 LLM 持续学习中的灾难性遗忘。SST 与优化器无关,可兼容 SFT 和自蒸馏,保护多达 99% 的权重子空间仍能保持目标任务的强劲表现,且该效果随模型与数据规模增大而增强,在大模型场景下几乎消除遗忘。相比基线方法,SST 的 KL 漂移减少 2–4 倍,推进了学习—遗忘的帕累托前沿。
OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。
研究者提出 SCOPED(技能解耦同策略专家蒸馏),通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中仅用技能监督专家、不向统一学生模型暴露技能,使其在推理时内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示技能增强可提升专家轨迹一致性、对任务相关视觉证据的关注度,并更好保留统一学生模型的专项能力。代码与数据已公开。
研究提出全身灵巧操作框架 WBD,将机器人躯干与四肢作为接触面来抓取和操作物体,通过 sim-to-real 流程生成全身抓取数据集、训练强化学习专家并蒸馏为单一策略。
研究者提出一种直接从语音中检测语码转换(CS)的轻量方法,利用预训练语音编码器帧级的语言选择性隐藏状态维度,聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
研究者提出 TIPS,一个约 600K 参数的推理时控制器,让 LLaDA-8B-Instruct 在解码时同时学习取消掩码与重新掩码,而底层语言模型保持冻结。
研究者提出流式记忆框架 MaLoW,用循环 HyperNetwork 将视频观测增量固化为固定大小的 LoRA 权重,让历史以权重形式延续、当前观测仍作为输入,避免历史与当前画面争夺上下文。
NOEMA 是一种时间卷积解码器,将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐,实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10,显著优于基线解码器,且候选池加入数千个训练中未出现的干扰项后优势依然保持。
研究者用低秩适配器和分类头微调 Qwen3-4B-Base,用于证据推断任务,判断试验结果是显著增加、显著减少还是无显著差异。该模型仅用 2,657 篇训练文章中 1,431 篇 CC BY、CC0 或公有领域文章微调,以 Apache License 2.0 发布并可在笔记本上运行。
GraphBEAT 是一个时序图表示学习框架,将临床事件按时间分桶并转化为患者特异性时序有向图,用于胃肠道癌症早期风险分层。在多站点纵向诊断编码与实验室检测数据上预测胰腺癌、肝癌和肠癌的 12、24、36 个月提前诊断,GraphBEAT 全面优于 GraphSAGE、GAT、GCN 及 Transformer、LSTM 基线。
针对块扩散语言模型(BDLM)在线策略蒸馏(OPD)在大块尺寸下训练不稳定的问题,研究者提出无偏蒸馏框架 Un-OPD,通过边界感知步过滤消除师生块边界不匹配导致的上下文错位,并用支持度重平衡的置信度校准抑制高支持位置的过度自信崩溃。该框架还引入 rollout 复用机制降低生成开销,在数学推理与代码生成基准上稳定训练并将实际训练时间缩短约一半。
研究追踪了在 11 种真实 Deepfake 生成方法的时间序列上渐进训练的检测器,发现准确率下降通常会加剧不公平性,而公平性随时间改善的情况很少。在 rehearsal、prompts、正则化三类持续学习方法中,不公平的遗忘无法仅用数据代表性不足解释,可能与表征学习纠缠。作者呼吁持续学习方法在平衡稳定性与可塑性时纳入社会结果考量。
该研究用正交多项式基将网络输出展开为广义傅里叶级数,把梯度下降动力学写成常微分方程,通过分析动力学矩阵 H 的特征值衰减与特征向量形状来解释频谱偏置。该框架可推广到 sigmoid、ReLU 等一般激活函数,对数据分布假设较弱,并避免有限域傅里叶分析中的混叠效应。
研究者提出因果编码器-解码器架构 Global State Model(GSM),将历史信息获取与深层计算分离:编码器通过多阶段稀疏检索把长程信息聚合为固定大小的共享状态,解码器层只在该状态上做连续变换,不再重复访问历史。
一篇综述系统梳理了脑到语言解码研究,将神经活动转化为语言或表达输出,涵盖侵入式与非侵入式测量,检索无年份下限、来源更新至 2026 年 9 月。文章把 Articulated、Inner、Perceived 三类任务与其涉及的神经元群体、解码器可用表征及输出对应起来,并比较已发表性能与通信成本。
研究在可解主题模型下为上下文学习与专业化预测器之间的竞争提供了学习理论。理论预测上下文预测器在早期即可用,而专业化预测器需训练 token 数超过数据生成过程的参数量后才出现。训练后的 Transformer 复现了这两个尺度及分离交叉点,且无需拟合参数。
针对同行评审生成和图像描述等存在多个有效输出的中等熵文本生成任务,研究者提出目标端整合方法,将同一输入的所有参考合并为保留全部独立信息单元的单一目标,并构建了包含36,537篇论文和31,014张图像的MERC-67K数据集。
研究团队提出 Anvil 统一框架,用于具身空间智能的数据生成、训练与评测,包含数据飞轮 Anvil-Gen、场景对齐监督 Anvil-Ben 和 9B 蒸馏学生模型 Anvil-MOPD。
研究者提出 Causal-Beam-Guided Subtask Transfer(CBST),从人类操作视频中学习操作相关表征,并用机器人演示将其锚定到任务级语义变量,使机器人无需人机动作对应即可从自身观测生成动作。在机器人操作基准上,CBST 的任务成功率优于对应的 world-action 模型基线。
研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
NeoHorse-1 是面向递归自我改进的智能体原生模型系列,通过异构模型池与智能路由,将每轮交互记录转化为保留推理、工具调用与 harness 上下文的训练样本。
DataKernelBench 将 SQL 转换为经校验的 PyTorch TorchPlan 程序,评测 LLM 用 CUDA 或 Triton 优化数据库查询内核。
研究发现,当攻击者掌握外部来源的辅助物品文本时,一个简单的余弦相似度攻击即可在多个语言模型和候选集设置下以高平均倒数排名恢复物品身份,两个真实数据集上均验证了该泄露。物品泄露还可从稀疏评分进一步传播为用户重识别,而混淆描述虽能缓解泄露,却存在明显的泄露-效用权衡。