跳到正文
10月15日周四
  1. arXiv cs.AI22

    RadixFlow:消除前缀缓存混合 LLM 服务中的执行气泡

    RadixFlow 通过将前缀匹配与状态就绪解耦,把全局扫描屏障变为局部等待,解决混合 LLM 中消费者分支等待生产者循环状态导致的队头阻塞。在五个混合模型上,平均延迟降低 3% 至 24%,worker 轮次减少 11% 至 44%,复用率几乎不变。在更大的 Qwen3.5 模型上,消融显示大部分收益来自遍历,而该遍历在全注意力对照模型上增益很小。

  2. arXiv cs.AI22

    面向演化上下文的预算化 KV-Cache 修复:Semantic-Unit Refresh

    针对语言模型智能体删除上下文后 KV 缓存仍受旧内容影响的问题,研究者提出预算化 KV-Cache 修复,即只重算保留后缀中用户指定比例的部分来恢复任务性能。其 Semantic-Unit Refresh(SUR)方法用低成本嵌入分数把预算分配给查询相关的文本区域,无需训练或额外 Transformer 前向。

  3. arXiv cs.AI12

    面向韧性:6G-Edge-Continuum 中移动 IoMT 的切片驱动编排

    该论文提出一种基于资源切片的自适应编排框架,将 5G 网络切片、资源感知编排与移动感知任务卸载整合为单一系统,为 IoMT 服务分配独立 5G 网络切片并联合考虑 CPU 容量、内存可用量与存储量。基于 SimPy 的仿真显示,该方法提升了服务部署效率、降低了请求阻塞并提高了用户接受度。

  4. arXiv cs.AI18

    队列感知 Token 通信:打通 AI 表征与无线服务

    针对现有 Token 通信(TokenCom)研究假设 token 可即时传输、忽略 token 负载生成与无线服务能力时变之间失配所产生排队动态的问题,研究者提出 Queue-Aware TokenCom,将 token 队列显式纳入 AI 服务流程,并给出融合 AI 表征生成、token 负载管理、无线传输与下游任务推理的端到端架构。

  5. arXiv cs.CL22

    TreeGraft:面向树状投机解码的自适应多草稿模型嫁接框架

    TreeGraft 是一个多草稿模型框架,让不同成本的草稿模型共同构建一棵共享草稿树,用更强的草稿模型为弱草稿模型的候选重新打分、重选嫁接位置并恢复被遗漏的有希望路径,同时以非破坏性方式整合强模型扩展。它引入从离线价值系统蒸馏的轻量调度器来决定何时调用强草稿模型。在 10 组模型对和 6 个基准上,TreeGraft 平均超越两种固定单草稿模型端点策略中更优者 15.1%,最高增益 26.6%。

  6. arXiv cs.CL28

    C⁴:在扩散语言模型中协同自适应采样与提前退出

    研究者提出免训练框架 C⁴,将局部解码加速与自适应全局提前退出结合,在 LLaDA 上校准一次后即可迁移至全部 12 个零样本任务及 Dream。该框架使解码步数减少 64-95%,实测解码循环加速 2.6x-18.6x,任务性能接近完整解码。其中提前退出主要在短答案任务上节省计算,局部加速则在推理与代码生成任务上贡献更大。

  7. arXiv cs.AI24

    Pollard:面向框架无关 AI 智能体控制与回放的受治理语义执行树

    Pollard 是一个框架无关的运行时,基于受治理语义执行树,让执行、治理与回放共享同一步骤身份。严格回放可直接返回已验证的存储结果而不调用被包装操作,事务存储协调并发 worker 的预留。在签名确定性冻结下,两个状态模型副本执行评估转换均未违反不变量,严格回放避免了外部调用,所有语义变更均被检出且对照组无误报。

  8. arXiv cs.AI24

    大语言模型借助可微用户均衡层实现交通规划

    研究提出一套人机协同交通规划框架,将大语言模型、MCP 接口、开源交通规划引擎 AequilibraE 与可微用户均衡(UE)分配层结合,让非专家用户以自然语言完成网络分析与方案优化。该可微 UE 层通过对 Beckmann 交通分配问题的 KKT 条件直接求导实现,并已在基于观测流量的行驶时间函数标定和预算约束下的网络设计两项任务中演示。

  9. arXiv cs.AI41

    少比特多尝试:内存受限下如何恢复模型能力

    在内存受限的本地部署场景下,用较小或压缩后的模型并行生成多个候选答案、再借助公开或模型自生成的测试筛选,可恢复因模型规模或压缩损失的大部分准确率。7B Qwen 模型八次并行尝试在 MBPP+ 上基本追平 32B 模型,在另外三个代码生成基准上超过它,同时模型内存占用约少 4 倍、速度最高快 6 倍、能耗更低(基于 Nvidia GPU 实测)。

  10. arXiv cs.CL29

    FOLD:面向长上下文投机解码的免位置远记忆方法

    FOLD 是一种免训练的投机解码方法,保留精确的局部位置,并将所有远距离条目视为共享同一位置的远记忆,通过锐化注意力并单独控制其相对局部窗口的总权重来对抗注意力稀释。在六组目标-草稿模型组合、最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况下较自回归解码加速从 2.08 倍提升至 4.22 倍。

  11. arXiv cs.AI23

    将智能体 AI 集成到企业软件的参考架构:职责、交互与可变性

    该论文提出一个技术中立的参考架构,用于将智能体 AI 集成到企业软件中,通过综合研究文献、行业架构指南和互操作规范,将架构能力归纳为十项职责,并定义边界不变量、类型化跨职责交互和可变点。作者以 ESG 投资组合分析与交易前合规智能体在既有面向服务的 ESG 指标计算与报告系统上实例化该架构,案例实现了十项职责中的七项,且一个独立发布的智能体架构无需新增职责即可映射到所提职责上。

  12. arXiv cs.AI41

    在前沿 LLM 上迭代,在 SLM 上部署:一种智能体任务蒸馏方法

    研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中,基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率,而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。

  13. arXiv cs.CL38

    JetSpec++:前瞻并行草稿与自修正的推测解码方法

    UC San Diego 等团队提出推测解码方法 JetSpec++,通过块内自修正、块间前瞻草稿与流水线草稿验证三项设计,将草稿模型的边际耗时几乎降为零。相比自回归解码,其墙钟加速最高达 7.45 倍,比 DSpark 快 1.54 倍,在 GB200 上单请求最高 1,361 tokens/s,七个基准平均接受长度 8.94,且保持目标模型输出分布。代码与模型已开源。

  14. arXiv cs.AI40

    用便携技能实现极简智能体 RAG:客服场景部署案例研究

    一项客服场景部署案例显示,由自然语言指令、轻量工具(检索 API、格式检查脚本)和 LLM 生成的"Wikipedia 式"导航索引组成的便携技能,可在 Claude Code 等智能体框架上实现智能体 RAG,达到 99.2% 流程等价率和 83.3% 证据充分率。该方案 1-2 名工程师天即可实现,但每案例约 90 秒,比生产助手约 8-9 秒慢一个数量级,作者未主张延迟优势。

  15. arXiv cs.AI40

    开放权重 LLM 的推理能效如何随基准、推理模式与硬件变化

    研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗,发现能力相近的模型能效差异巨大,多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量,差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗,且收益高度依赖模型家族与输出预算;FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理,会误判 18–24% 的模型配对。