基于跨特征注意力与轻量级表格 Transformer 的心力衰竭患者早期死亡风险预测

Abstract

本研究针对现有临床评分系统和传统机器学习模型在处理心衰患者EHR数据时存在的特征表征弱、难以捕捉高阶交互及对少数类样本召回率低等问题，提出了一种轻量级表格Transformer变体LT-CFA。该模型通过连续变量嵌入（CVE）实现数值特征与分类特征的语义对齐，引入线性复杂度的跨特征注意力（XFA）模块降低过拟合，并采用焦点损失（Focal Loss）缓解死亡样本仅占13.5%的类别不平衡问题。基于MIMIC-III中1,177例心衰患者数据的五折交叉验证显示，LT-CFA的ROC-AUC达0.912，F1-score为0.769，对死亡样本召回率达0.785，显著优于XGBoost和TabNet；在299例外部数据上AUC保持0.886，展现出良好泛化能力。消融实验验证了各模块的有效性，注意力热力图揭示的NT-proBNP与EF、肌酐间的强交互作用符合临床共识。结论表明，LT-CFA在低计算开销下实现了高效预测与可解释建模，为危重症预后评估提供了轻量化解决方案。