arXiv cs.CL· Yafeng Wu, Huu Hiep Nguyen, Thin Nguyen, Hung Le·· 11 小时前AI 评分29
CADE：用直接时间步嵌入与对比对齐突破时间序列问答的 tokenization 瓶颈
Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
AI 导读
研究者提出 CADE 框架，通过逐点线性编码器和 MLP 投影将每个时间步直接映射进 LLM 嵌入空间，绕过 BPE 分词，保留精确的索引级访问且无需分块与填充。该框架还引入单向监督对比损失，将时间序列嵌入与冻结的类名文本锚点对齐。在公开 Time-MQA 基准的六项 TSQA 任务上，CADE 一致优于开源与闭源 LLM 基线。
正文 · AI 翻译
摘要：大语言模型（LLM）的最新进展催生了时间序列问答（TSQA），它将时间序列分析表述为自然语言问答。然而，直接将原始数值序列输入 LLM 会遭遇分词瓶颈：字节对编码会将连续值切分为不稳定的 token，其嵌入缺乏有意义的度量结构，导致量级、尺度和趋势信息丢失。此前的方法使用基于分块的编码器，将序列切分为固定窗口，锁定单一粒度，从而破坏模式并隐藏精确时间步，且通过一个很少能跨不同长度或采样率数据集迁移的独立模块实现。为应对这一挑战，我们提出 CADE（Contrastive Alignment with Direct Embedding），一个基于两个关键组件构建的 TSQA 新框架：直接时间步嵌入和语义对齐。该框架通过逐点线性编码器和 MLP 投影器将每个时间步直接映射到 LLM 嵌入空间，在保留精确索引级访问的同时，消除了分块和填充的需要。为进一步弥合时间序列与语言表示之间的语义鸿沟，我们引入一种新颖的单向监督对比损失，将时间序列嵌入与冻结的类名文本锚点对齐。在公开的 Time-MQA 基准上的实验结果表明，我们的框架在六项 TSQA 任务上持续提升性能，优于开源和专有 LLM 基线。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.18986 [cs.CL] |
| （或 arXiv:2606.18986v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.18986 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yafeng Wu [查看邮箱]
[v1]
2026年6月17日星期三 12:07:23 UTC（181 KB）
[v2]
2026年10月16日星期五 00:14:22 UTC（226 KB）
来源：arXiv cs.CL · arxiv.org