EV-JEPA:面向任意设备与跨设备推理的弹性 V-JEPA
研究者提出 Elastic V-JEPA(EV-JEPA),一个模型训练一次即可在从智能眼镜到服务器的异构设备上部署,宽度可重构并原生支持跨设备切分。其核心 Transition-Aware Triplet Training(T3)每步选取窄、宽两种宽度并训练三条路径,使同一权重同时学会单设备与跨设备执行。
研究者提出 Elastic V-JEPA(EV-JEPA),一个模型训练一次即可在从智能眼镜到服务器的异构设备上部署,宽度可重构并原生支持跨设备切分。其核心 Transition-Aware Triplet Training(T3)每步选取窄、宽两种宽度并训练三条路径,使同一权重同时学会单设备与跨设备执行。
该研究提出一种硬件感知的 LLM-VLM 操作框架,在 NVIDIA Isaac Sim 中驱动模拟 Franka Research 3 机器人完成零样本任务规划。
研究者提出 GF-Bench,一个基于 PyTorch 的框架与数据集,用于在分布式 GPU 工作负载中生成故障,当前版本包含 220 条带标注的双 GPU 执行记录,覆盖正常运行、CUDA 显存不足 fail-stop 故障和持续性拖尾 fail-slow 故障。
RadixFlow 通过将前缀匹配与状态就绪解耦,把全局扫描屏障变为局部等待,解决混合 LLM 中消费者分支等待生产者循环状态导致的队头阻塞。在五个混合模型上,平均延迟降低 3% 至 24%,worker 轮次减少 11% 至 44%,复用率几乎不变。在更大的 Qwen3.5 模型上,消融显示大部分收益来自遍历,而该遍历在全注意力对照模型上增益很小。
研究者提出 Token Window Pacing(TWP),一种闭环调度框架,利用 ITL、队列深度和工作负载特征的运行时反馈,在 token 级而非 batch 级调节请求准入,并结合分块 prefill 减少新请求对解码的干扰。
RAN-JEPA 是一种动作条件世界模型,将表征学习与干预学习分离:先仅用观测数据预训练预测性潜表征,再在真实四小区 5G 测试台上适配域并从受控 sleep/wake 轨迹学习动作条件潜动力学,编码器保持冻结。
SchemaWeaver 是一种端侧移动智能体 AI 技术,在 LLM 工具调用的解码阶段引入 schema 引导的并行解码,每次解码生成多个 token 以降低延迟。它无需训练或修改 LLM 即可通用接入移动端推理引擎,在主流移动 SoC 和 LLM 系列上实测工具调用延迟最高降低 3.9 倍。
针对语言模型智能体删除上下文后 KV 缓存仍受旧内容影响的问题,研究者提出预算化 KV-Cache 修复,即只重算保留后缀中用户指定比例的部分来恢复任务性能。其 Semantic-Unit Refresh(SUR)方法用低成本嵌入分数把预算分配给查询相关的文本区域,无需训练或额外 Transformer 前向。
该论文提出一种基于资源切片的自适应编排框架,将 5G 网络切片、资源感知编排与移动感知任务卸载整合为单一系统,为 IoMT 服务分配独立 5G 网络切片并联合考虑 CPU 容量、内存可用量与存储量。基于 SimPy 的仿真显示,该方法提升了服务部署效率、降低了请求阻塞并提高了用户接受度。
针对 KV cache 显存瓶颈,研究者提出轻量压缩框架 OScaR(Omni-Scaled Canalized Rotation),指出 Token Norm Imbalance(TNI)是 per-channel 量化在极致压缩下失效的主因,并通过 Canalized Rotation 与 Omni-Token Scaling 缓解该问题。
论文《Terminal Agents Suffice for Enterprise Automation》提出,只配备终端和文件系统的编码智能体通过直接调用平台 API,就能完成许多企业任务。
针对现有 Token 通信(TokenCom)研究假设 token 可即时传输、忽略 token 负载生成与无线服务能力时变之间失配所产生排队动态的问题,研究者提出 Queue-Aware TokenCom,将 token 队列显式纳入 AI 服务流程,并给出融合 AI 表征生成、token 负载管理、无线传输与下游任务推理的端到端架构。
研究者提出 LATCH(LLM-Assisted Timing Closure Harness),将 LLM 编排与确定性 FPGA 实现和评估分离的两层框架。
一套完全离线的语音到语音翻译流水线可在 Jetson Nano(4 GB)上运行,无需重训练即可自我纠正弱翻译:Whisper-tiny 做 ASR,Opus-MT 做翻译,多语言 BERT 余弦相似度作为质量估计(QE)门控,置信度低于阈值 τ 时触发二次翻译。
TreeGraft 是一个多草稿模型框架,让不同成本的草稿模型共同构建一棵共享草稿树,用更强的草稿模型为弱草稿模型的候选重新打分、重选嫁接位置并恢复被遗漏的有希望路径,同时以非破坏性方式整合强模型扩展。它引入从离线价值系统蒸馏的轻量调度器来决定何时调用强草稿模型。在 10 组模型对和 6 个基准上,TreeGraft 平均超越两种固定单草稿模型端点策略中更优者 15.1%,最高增益 26.6%。
研究者提出免训练框架 C⁴,将局部解码加速与自适应全局提前退出结合,在 LLaDA 上校准一次后即可迁移至全部 12 个零样本任务及 Dream。该框架使解码步数减少 64-95%,实测解码循环加速 2.6x-18.6x,任务性能接近完整解码。其中提前退出主要在短答案任务上节省计算,局部加速则在推理与代码生成任务上贡献更大。
Pollard 是一个框架无关的运行时,基于受治理语义执行树,让执行、治理与回放共享同一步骤身份。严格回放可直接返回已验证的存储结果而不调用被包装操作,事务存储协调并发 worker 的预留。在签名确定性冻结下,两个状态模型副本执行评估转换均未违反不变量,严格回放避免了外部调用,所有语义变更均被检出且对照组无误报。
研究提出一套人机协同交通规划框架,将大语言模型、MCP 接口、开源交通规划引擎 AequilibraE 与可微用户均衡(UE)分配层结合,让非专家用户以自然语言完成网络分析与方案优化。该可微 UE 层通过对 Beckmann 交通分配问题的 KKT 条件直接求导实现,并已在基于观测流量的行驶时间函数标定和预算约束下的网络设计两项任务中演示。
针对长输出 LLM 推理中 KV cache 的内存与带宽瓶颈,研究者提出混合精度 key cache 量化方法 PN-Mix,通过 RoPE 通道对级别的注意力 logit 扰动分析,识别 query–key 配对范数乘积大的显著通道对并分配更高精度,该显著通道对在 prefill 阶段确定一次、解码全程复用。
SpecFit 通过选择预测吞吐量最高的已验证草稿子树,而非追求最长接受长度,来优化卸载式 MoE 推理中的推测解码。该方法用草稿路径概率估算提交 token 数,并根据子树激活专家的逐层并集预测周期时间,该并集为单调子模覆盖函数。
在内存受限的本地部署场景下,用较小或压缩后的模型并行生成多个候选答案、再借助公开或模型自生成的测试筛选,可恢复因模型规模或压缩损失的大部分准确率。7B Qwen 模型八次并行尝试在 MBPP+ 上基本追平 32B 模型,在另外三个代码生成基准上超过它,同时模型内存占用约少 4 倍、速度最高快 6 倍、能耗更低(基于 Nvidia GPU 实测)。
LayerTrim 是一种免训练的结构化剪枝方法,通过识别冗余解码层并选择性裁剪其 MLP 特征,同时保留注意力和解码深度,在不使用梯度或恢复训练的情况下维持长文本推理能力。
研究提出 Inference on Demand(IoD),一种按需推理抽象,通过类 CAMARA 的 API 暴露拆分推理,并在 5G 用户面路径上带内传递拆分感知的 tensor 上下文。
ReaDy 是首个利用混合线性注意力(HLA)模型循环状态进行位置特定上下文检索的推测解码方法,为每个草稿位置配备可学习 query,从目标模型已提交的循环状态中检索补充上下文。
FleetPilot 是一个细粒度、按实例定制的大语言模型个性化引导框架,可从用户数据动态生成样本级干预向量并注入模型前向传播。它通过 match contrast 提取用户相关信号、细粒度引导组件挂钩 attention 与 MLP 层激活、查询条件聚合模块合成上下文相关增强。
FOLD 是一种免训练的投机解码方法,保留精确的局部位置,并将所有远距离条目视为共享同一位置的远记忆,通过锐化注意力并单独控制其相对局部窗口的总权重来对抗注意力稀释。在六组目标-草稿模型组合、最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况下较自回归解码加速从 2.08 倍提升至 4.22 倍。
该论文提出一个技术中立的参考架构,用于将智能体 AI 集成到企业软件中,通过综合研究文献、行业架构指南和互操作规范,将架构能力归纳为十项职责,并定义边界不变量、类型化跨职责交互和可变点。作者以 ESG 投资组合分析与交易前合规智能体在既有面向服务的 ESG 指标计算与报告系统上实例化该架构,案例实现了十项职责中的七项,且一个独立发布的智能体架构无需新增职责即可映射到所提职责上。
GateSight 利用 GDN 层在 prefill 阶段发出的写门、衰减和写入幅度信号,通过轻量级 per-head MLP 预测 KV 条目的未来效用,从而在未见查询前决定各注意力层保留哪些条目。
SAGE 是一种面向权重-only 向量量化的新方法,通过能量分层分组(ESG)与自适应比特拆分(ABS)两项设计,在 2-bit 量化下取得 SOTA 表现。
针对流式语音助手在用户自我纠正后仍执行过期工具调用的问题,研究者提出 Repair-Aware Semantic Survival Gating(RASSG),在连续三次语音识别结果参数一致时启动工具,并结合参数失效风险与执行成本在不可逆前决定取消。
研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中,基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率,而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。
Delta Tokenizer 是一种 CPU 分词前端,只对同一会话中请求与上一请求之间的增量文本分词,会话轮次的分词速度相比 Hugging Face 参考分词器提升约 40 倍。
UC San Diego 等团队提出推测解码方法 JetSpec++,通过块内自修正、块间前瞻草稿与流水线草稿验证三项设计,将草稿模型的边际耗时几乎降为零。相比自回归解码,其墙钟加速最高达 7.45 倍,比 DSpark 快 1.54 倍,在 GB200 上单请求最高 1,361 tokens/s,七个基准平均接受长度 8.94,且保持目标模型输出分布。代码与模型已开源。
一项客服场景部署案例显示,由自然语言指令、轻量工具(检索 API、格式检查脚本)和 LLM 生成的"Wikipedia 式"导航索引组成的便携技能,可在 Claude Code 等智能体框架上实现智能体 RAG,达到 99.2% 流程等价率和 83.3% 证据充分率。该方案 1-2 名工程师天即可实现,但每案例约 90 秒,比生产助手约 8-9 秒慢一个数量级,作者未主张延迟优势。
研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗,发现能力相近的模型能效差异巨大,多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量,差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗,且收益高度依赖模型家族与输出预算;FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理,会误判 18–24% 的模型配对。
ANASSA 框架通过设计科学研究(DSR)从高层架构责任细化为低层架构,包含 47 个逻辑角色、版本化任务图、基于能力的智能体选择、类型化契约、显式运行时状态、空间验证机制、治理控制、失败恢复路径和溯源记录。
Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法,通过高精度求和并将每次量化注入的误差反馈到后续调用中,使累积误差与模型深度无关。
研究者提出联合子空间稀疏注意力(JSSA),通过学习共享低维 query-key 子空间提升 token 级选择质量,并设计免 gather 的 token 级索引注意力 kernel,在 GQA、混合滑窗/全局注意力和 MLA 模型上保持接近全 KV 的精度。
一项案例研究记录了面向铁路领域复杂技术法规咨询的 RAG 系统从设计到部署的全过程。该系统以人为中心,用 LLM 驱动技术文档咨询,在技术能力与领域专业知识之间取得平衡,其经验对监管合规要求高、需从复杂文档中精准检索信息的受监管行业具有参考价值。
针对图式智能体工作流中跨任务耦合的路由问题,研究者提出单参数采购拍卖框架与 STAR(Strategy-proof Topology-aware Agent Routing)机制,通过最小化虚拟成本加权的图工作量,使各 LLM 提供商如实上报成本成为效用最大化选择,并覆盖其真实执行成本。