arXiv cs.AI· Lei Zhai, Zhihao Chang, Shuyuan Yang, Zhixi Feng·· 9 天前AI 评分15
BATok：面向指令化电磁频谱理解的预算自适应信号分词器
Instruction-Conditioned Electromagnetic Spectrum Understanding via Budget-Adaptive Signal Tokenization
AI 导读
研究者提出预算自适应信号分词器 BATok，可根据输入长度调整 token 容量并按信号内容分配，token 数量随长度自适应且严格有界，再投影到 VLM 的语言嵌入空间。同时发布 EMSpec-Instruct 多模态指令数据集，对齐原始 I/Q 信号、瀑布图与语言监督，覆盖调制识别、结构化检测和语言条件信号定位。实验显示 BATok 学到有效信号表示，在所有任务上取得有竞争力的表现。
正文 · AI 翻译
摘要：电磁频谱监测日益需要超越特定任务识别与检测的灵活分析。多模态大语言模型提供了统一的接口，但将视觉语言模型（VLM）扩展到原始 I/Q 信号需要一种在保真度与严格预算之间取得平衡的标记化方法。对于信号而言，密集编码会使 token 成本随观测长度增长，而固定分辨率压缩则可能丢弃短时或局部化的信号证据。因此，我们提出 \textbf{BATok}，一种预算自适应信号分词器，它根据输入长度调整 token 容量，同时依据信号内容分配该容量。BATok 使用轻量级多分辨率分支从信号衍生特征构建候选表示，然后结合局部能量先验与可学习查询，将这些表示重采样为紧凑的信号 token。token 数量随输入长度自适应，同时保持严格有界。生成的 token 被投影到 VLM 的语言嵌入空间中。我们进一步提出 \textbf{EMSpec-Instruct}，一个多模态指令数据集，将原始 I/Q 信号、瀑布图和语言监督对齐，用于调制识别、结构化检测和语言条件信号定位。实验表明，BATok 学习到了有效的信号表示，并在所有任务上取得了有竞争力的性能。
| 学科： | 人工智能（cs.AI）；信号处理（eess.SP） |
| 引用为： | arXiv:2610.12142 [cs.AI] |
| （或使用 arXiv:2610.12142v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.12142 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lei Zhai [查看邮箱]
[v1]
2026年10月8日星期四 15:28:37 UTC（14,845 KB）
来源：arXiv cs.AI · arxiv.org