跳到正文
热点事件持续更新

研究:层状态轨迹可测Transformer推理过程

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Heng Zhao等作者发表论文,将Transformer推理中按层顺序展开的层状态轨迹作为可测量的计算过程。在Qwen、Llama和Gemma检查点上,真实层序路径与端点弦的对齐度是保持端点随机打乱的1.60–2.24倍,作者据此认为层序定义了可测量的计算。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.CL
    高维层状态轨迹揭示 Transformer 推理的内部动态

    研究将 Transformer 推理中按层顺序展开的层状态轨迹作为可测量的计算过程,在 Qwen、Llama 和 Gemma 检查点上,真实层序路径与端点弦的对齐度是保持端点随机打乱的 1.60–2.24 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。