OxyGen:面向多任务并行 VLA 推理的统一 KV Cache 管理
OxyGen 提出统一 KV cache 管理,将 KV cache 视为跨任务与控制周期共享的一等资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成请求。
OxyGen 提出统一 KV cache 管理,将 KV cache 视为跨任务与控制周期共享的一等资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成请求。
Spectra 是一种在存在重配置延迟 δ 时,将单个 AI 流量需求矩阵 D 调度到 s 台并行 OCS 上以最小化 makespan 的算法,采用“分解为加权置换—负载感知分配—受控置换拆分均衡负载”三步流程。
在 NVIDIA A100 上近 1000 次运行四个视觉基准(MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100)的测试显示,去掉反向传播本身并不省电:FF 能耗是 BP 的 4.1x 至 6.3x,CaFo 为 3.0x 至 7.1x。
TENET 是一个在测试驱动开发(TDD)范式下进行仓库级代码生成的智能体框架,包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上,TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1,较最强基线提升 9.49 和 2.17 个百分点。
研究者提出 Role-Conditioned Context Routing(RCR),一种执行时上下文路由层,按角色、任务阶段元数据和 token 预算,从结构化共享记忆中为每个智能体选择性分配相关记忆条目。
一篇 48 页综述分析了面向太空任务的 FPGA 神经网络加速器研究现状,指出 FPGA 因灵活性、成本效益和抗辐射潜力受到关注,可用于自主运行、传感器数据分析和数据压缩等星上任务。该文梳理了现有文献的趋势与空白并提出未来研究方向,已于 2026 年 10 月 7 日在线发表于 ACM Computing Surveys。
FlowWise 是一个面向流式有状态流量智能的服务系统,通过不确定性驱动的快慢级联,先用单包模型给出早期预测,仅将不确定的流升级到等待更多数据包的慢模型。它能在 16 ms 内服务 76.3% 的流,中位端到端延迟改善 40.5x,单台 16 核 CPU 服务器每秒可承载超 48.5k 新流,代码已开源。
针对哈希检索中汉明距离与注意力相关性不匹配的问题,研究者提出分层哈希检索(HHR),通过 Geometry-Aware Key Routing(GKR)和 Learned Hash Projection(LHP)由粗到细提升检索精度。
研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态刻画,发现同一工具在不同任务下的资源表现差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出的 CPU 感知工具准入与任务感知 CPU 分配优化,使 CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。
研究提出一种基于 FractalNet 架构的异构联邦学习方法,用于卫星巨型星座的轨道边缘智能,形式化了受接触窗口约束、深度异构的联邦优化问题,并引入按 SWAP-C 约束、星间接触预测和训练统计分配模型深度的分布式路径调度器。
论文将插件式智能体的时空可组合性演算从单进程限制放宽到组件与记录可任意分配到多进程,给出四个充分条件并用定理1证明可逆性保证跨进程成立。基于该定理构建的 Logos 采用 ROS 式的对等进程与名称路由形式,插件即进程,路由表可重建,恢复所需的会话状态存于无归属的追加式记录中。
LaCache 是一种面向 LLM 服务的语义缓存重设计,将完整性校验从查询转移到响应,额外检查查询前 k 个推测解码 token 的缓存命中,从而可证明地防御缓存碰撞攻击。分析证明其能以高概率检测产生语义不同响应的攻击,跨多种 LLM 和基准的评测显示攻击命中率降至接近零,同时保留超过 90% 的正常缓存效用。该工作入选 NeurIPS 2026。
研究者提出 Decoupled Search Grounding(DSG),通过 MCP 兼容网关把搜索接地移出推理模型,将供应商路由、来源感知上下文渲染、检索深度控制与缓存变为可调接口。在 SimpleQA 上 DSG 准确率 86.1%(原生搜索 87.7%),搜索成本降低 91%,热缓存命中率 99.4%、延迟降低 68%;在电商 QIU 负载上准确率持平原生搜索,搜索成本降低超 98%。
CoMIC 是一个无需更新参数的云边协同框架,让边缘侧轻量 LLM 智能体通过"边缘执行、云端反思"完成长程任务。云端 LLM 评审器异步评估经 Web 网关上传的轨迹,筛选可复用经验并按语义子目标标识符向所有边缘智能体循环分发跨智能体指导。在五个长程基准上,弱边缘智能体在标准记忆智能体完全失败的任务上取得非零成功率,任务进度优于标准智能体与纯本地执行,同时降低上下文消耗。
ConMoE 把 MoE 专家压缩拆成"构建专家池"和"分配原专家负载"两步,并证明专家池固定后分配仍可单独优化。它用 Anchor Coverage 构建紧凑专家池,再以 router 条件化的功能目标优化分配,仅需无标注校准输入且冻结 router 与专家权重。
研究者提出 A-LEMS 跨层框架,将 AI 能耗核算单位重新定义为"每成功目标能耗"(EpG),即包含失败与重试的全部工作流能耗除以成功完成的目标数。
VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环,通过外层循环规划系统设计搜索、内层循环实现候选方案并验证正确性与性能。在标准场景下,它在 Llama-3.1-8B 上追平 vLLM 和 SGLang,并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。
DTScribe 可读取数字孪生文档,自动输出概念架构可视化与报告页面,并生成 Ontological Modeling Language 描述模型。它通过大语言模型评审与本体推理的细化循环提升产物质量,使约 20B 参数的本地中型模型达到接近更大模型的效果。研究建议避免用大语言模型做评审、避免用聚类做特征提取,并推荐至少两轮推理循环。
针对路边传感器高度、倾角与视场差异大导致端到端模型难以泛化的问题,该研究提出一种低成本两阶段方法:第一阶段用现成方法提取 2D 相机检测框与对应 3D 雷达点,第二阶段由雷达确定 3D 位置、预定义模板确定尺寸、微型神经网络预测站点专属偏航角,从而构建 3D 有向包围盒。
ChampionKV 是一种输入自适应的按注意力头预算分配器,用于长上下文 KV Cache 压缩,以最大聚合观察窗口注意力分数作为注意力集中度的轻量代理,对注意力分散的头分配更大预算、集中的头分配更小预算。
针对多智能体系统中非前缀 KV Cache 跨智能体复用导致模型性能最多下降 90% 的问题,LatentRemedy 用少量任务条件 latent token 帮助目标智能体在不重算共享块的情况下理解复用上下文,MLP 将目标前缀的最后隐藏状态映射为 latent token 并置于复用 KV 块之后,通过全预填充蒸馏训练。
Diff Diffusion 是一个受扩散模型启发的 LLM 框架,将去噪过程表示为结构化编辑操作,从原始代码片段预测到修改后形式的编辑路径,从而把计算集中在改动区域。
一篇 arXiv 论文提出面向来源的智能体工作流失败分类体系,结合失败类型词典、工作流阶段定位与智能体能力定位,构建以工作流阶段为横轴、智能体能力为纵轴的双轴定位矩阵。实证对比显示,文献中的失败集中在规划、推理、学习、感知与知识相关机制,而 GitHub 上的失败集中在执行阶段、执行动作、工具、API 与基础设施,迭代执行与执行动作是主要热点。
StartLux-Decision 推出 0.8B 至 27B 参数决策模型,Instant 版以双向注意力保持单次推理,AutoThink 版对不确定决策显式推理、对高置信案例直接作答。
开源包 spotregen 实现了 Fowler 提出的七项再生式软件原语,让程序可被删除重建而不丢失知识:知识以机器可读记录存于受追踪目录,每个单元据此生成包含架构、意图、决策、公共契约、评估与消费者但无实现的 regeneration bundle。
AUGUstus 是一个将扩散式动作生成与自回归 CoT 理解统一在一个模型中的自动驾驶 VLA 模型,理解仅服务于生成,并通过 AUGUstus-mode 让推理只需输出动作以实现低延迟。
微信提出统一生成式检索框架 WeGR,由 CoCo-VAE 分词器与 DHPO 策略优化两部分组成,前者引入查询-物品和物品-物品协同信号并通过码本刷新缓解码本坍缩,后者逐步扩展奖励评估与策略优化视野以缓解精确 SID 匹配下的奖励稀疏。
AlignCache 是一个闭环缓存框架,通过阶段自适应预算路由、闭环阈值校准和动量增强草稿合成三个组件,将视频扩散模型的缓存调度从静态风险累积转变为反馈驱动的自校正控制器。该方法针对现有自适应缓存依赖启发式差异度量、单一全局阈值且从不校验预算估计的问题,在多个 SOTA 视频生成模型上取得更优的加速-质量权衡,代码已开源。
LoopQuant 是面向循环语言模型(LoopLM)的循环感知训练后量化(PTQ)框架,通过 CLDC、ILPA、LCTC 三个组件解决跨循环激活动态与递归误差传播问题。在 Ouro-2.6B 上,其 W4A4 精度超过所有 W4A8 基线,模型内存减少 65.3%,相比朴素 INT4 仅增加 3.4% 存储开销,解码速度较 BF16 提升 1.7 倍。代码已开源。
SafeDSE 是一个面向同步数据流应用的设计空间探索框架,用单一声明式约束模型同时决定每个 actor 的模式、故障模型要求的放置、静态顺序调度与平台,并对 SIL 提升定价。
研究者提出 DeskIF-Bench,用 255 个跨 6 款桌面应用的任务,在固定任务、智能体与验证器的情况下改变软件版本,测量界面变化对 LLM 智能体表现的影响,结果显示最新版本始终优于最旧版本。
CacheLink 通过直接学习接收方行为下的耦合 K/V 校正,实现零预填充的跨模型上下文交接。在四组独立训练的发送方-接收方模型对和七个评测面板上,CacheLink 在所有模型对上的等权平均指标均优于其他方法;在 32K 上下文下,相比接收方重新预填充,交接延迟最多降低 7.27 倍。
研究者提出基于 E8 格点向量量化的 KV-Cache 压缩方法,用 2-bit 键加 2-bit 值的 k2v2 配置即可保持接近基线的质量。该方法在五种 LLM 系列上实现约 6 倍 KV 压缩,比标量 k3v2 小约 20%,并在 80% 的模型-数据集-上下文组合中困惑度优于标量 k3v2,同时解码吞吐与标量基线持平。
研究者提出免训练 PTQ 框架 HGA-Quant,由尾部感知有界初始化网格精炼(T-BGR)与由粗到细激活精度调度(CAPS)组成,用于自回归视觉生成(ARVG)模型的低比特量化。在 Infinity 上,该框架以 W4A5.6 有效激活精度实现接近全精度的图像生成质量,而现有方法在 W4A6 下仍出现明显质量下降或表现不稳定。代码已开源。
VLCQ 是一种放宽定点编码约束的训练后量化方法,通过可变长度编码在降低位宽的同时无需训练数据或模型微调。在图像分类、分割和检测任务上,其逐通道量化在多数模型上超越 FP32 精度和 PWLQ,相比 FP32 最高实现 6x 压缩、相比 PWLQ 最高 1.7x;以压缩优先时相比 FP32 最高达 12.25x 压缩,性能损失低于 4%。
该论文提出基于 AWS IoT Core 与 AWS IoT Greengrass v2 的云边混合架构,在边缘本地执行机器学习推理并选择性同步云端。
研究者提出自学习运维智能体 SDO,通过将已解决故障的经验蒸馏为可复用的 playbook 和检测器脚本,让 LLM 智能体随处理事件增多而持续改进,而非每次从零排查。SDO 持续运行检测器,仅在其触发时调用 LLM,因此 token 成本随事件数量而非运维时长增长。在 11 个开源微服务应用上,SDO 将复发性故障的解决时间缩短 52%,并保持较低的单次事件成本,代码已开源。
研究者提出 Elastic V-JEPA(EV-JEPA),一个模型训练一次即可在从智能眼镜到服务器的异构设备上部署,宽度可重构并原生支持跨设备切分。其核心 Transition-Aware Triplet Training(T3)每步选取窄、宽两种宽度并训练三条路径,使同一权重同时学会单设备与跨设备执行。
该研究提出一种硬件感知的 LLM-VLM 操作框架,在 NVIDIA Isaac Sim 中驱动模拟 Franka Research 3 机器人完成零样本任务规划。
研究者提出 GF-Bench,一个基于 PyTorch 的框架与数据集,用于在分布式 GPU 工作负载中生成故障,当前版本包含 220 条带标注的双 GPU 执行记录,覆盖正常运行、CUDA 显存不足 fail-stop 故障和持续性拖尾 fail-slow 故障。