研究比较EHR中Transformer数值编码策略

Maria Elkjær Montgomery等作者发表研究，在真实电子健康记录数据上系统比较离散、连续与混合三类数值编码策略。结果显示，显式建模数值-概念交互的方法在精度敏感的算术任务上表现最优，但受架构约束限制；保留数值并在投影前分箱的混合token方案更稳健、适用面更广，最优分箱数随数据集规模呈经验幂律关系。 研究还发现，模型普遍表现为可靠的“够用”数值计算而非精确算术，临床收益因任务而异。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。