基于Transformer的多维数据分类模型研究与应用

Abstract

针对多维数据分类任务中变量维度多、变量间相关关系复杂、传统模型过度依赖人工特征工程等问题，本文提出一种基于Transformer的跨维注意力分类模型（Cross-Dimension Transformer，CD-Transformer）。该模型将表格型多维数据的每个变量维度视为一个特征token，通过标量映射层、维度标识嵌入层和Transformer编码器学习变量之间的非线性交互关系，并采用均值池化与最大池化联合方式形成全局样本表征。为验证模型有效性，本文选取Wine和BreastCancer两个公开多维分类数据集进行重复实验，并与逻辑回归、支持向量机、随机森林和多层感知机等典型方法进行比较。实验结果表明，CD-Transformer在两个数据集上的平均准确率分别达到0.9444和0.9610，整体优于普通MLP模型，能够在保持较强非线性表达能力的同时提供一定的特征交互解释能力。