arXiv cs.AI· Jonathan F. Carter, Lionel Tarassenko·· 11 小时前AI 评分42
Hypnos：用下一 token 预测学习可泛化的睡眠生理表征
Hypnos: Learning Generalisable Representations of Sleep Physiology via Next-Token Prediction
AI 导读
Hypnos 是一个多模态睡眠基础模型，基于超过 20,000 份整夜多导睡眠图、覆盖 EEG、ECG、呼吸等八种传感模态，用残差向量量化将各模态离散化为 token 流，再以自回归 RQ-Transformer 并行预测下一 token 完成训练。
正文 · AI 翻译
摘要：基础模型为将多模态生理信号压缩为人类健康的紧凑表示提供了一条有前景的途径，在睡眠医学、心脏病学、神经病学及其他医疗健康领域具有广泛应用。现有模型通常采用掩码重建或对比目标进行训练。然而，掩码重建可能难以适配这些信号的随机特性，而对比方法依赖于正样本对的定义，尽管生理信号的语义不变性仍鲜为人知。在本工作中，我们表明下一词元预测是一种简单且可扩展的替代方案。我们开发了 Hypnos，一个多模态睡眠基础模型，使用来自超过 20,000 份整夜多导睡眠图记录的八种不同传感模态（例如 EEG、ECG、呼吸信号）进行训练。我们使用残差向量量化将每种模态分词为离散词元流，然后训练一个大型自回归 RQ-Transformer，以并行方式联合预测所有模态中的下一个词元。训练完成后，Hypnos 可应用于来自任意受支持模态子集的连续传感器数据流，为下游任务生成嵌入。Hypnos 在大多数评估基准上显著优于现有基础模型。在睡眠分期分类中，我们在留出测试集上达到了强监督基线的性能，同时使用的标注数据少 100\times。Hypnos 甚至能泛化到睡眠记录之外，在检测心房颤动方面超越了一个专用的 ECG 基础模型。我们的结果表明，自回归词元建模是一种用于从多模态生理信号中进行表示学习的强自监督方法。代码和模型权重：此 https URL
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.09605 [cs.AI] |
| （或 arXiv:2606.09605v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.09605 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jonathan Carter [查看电子邮件]
[v1]
2026 年 6 月 8 日星期一 15:13:57 UTC（3,080 KB）
[v2]
2026 年 11 月 4 日星期三 22:52:40 UTC（3,866 KB）
来源：arXiv cs.AI · arxiv.org