习近平总书记在新疆大学考察时发表的重要讲话、作出的重要指示，为新疆大学落实立德树人根本任务、建设具有突出优势特色的高水平大学提供了根本遵循。新疆大学持续深入贯彻落实习近平总书记重要讲话重要指示精神，以铸牢中华民族共同体意识为主线，着力培养担当民族复兴大任的时代新人，奋力推进“双一流”建设内涵式发展、特色发展、高质 量发展，培育壮大 高素质师资人才队伍，脱颖而出一批拔尖创新人才。 为展现新疆大学优秀专家教师风采及其科研教学成果，特开设“春华秋实”栏目，以飨读者。
今日成果推介
Shuli Cheng, Runze Chan* and Anyu Du, MS2I2Former: Multiscale Spatial–Spectral Information Interactive Transformer for Hyperspectral Image Classification, IEEE Transactions on Geoscience and Remote Sensing,2024, 62: 1-19. 中科一区, Top期刊, IF=7.500
*通讯作者
道阻且长
行则将至
——程述立
程述立，副教授，博士研究生导师，自治区天池英才-青年博士（首批）,新疆大学计算机科学与技术学院信息安全系副主任。先后荣获自治区自然科学奖二等奖、自治区自然科学优秀学术论文三等奖； 全国大学生电子设计竞赛赛区优秀指导教师（一等奖、二等奖、三等奖），自治区信息安全竞赛优秀指导教师（一等奖、三等奖），校级本科毕业设计优秀指导教师。以第一作者和通讯作者身份发表中科院一区论文10余篇，ESI高引论文/热点论文2篇。主持省部级及以上各类科研项目10项。
研究领域：多模态媒体分析、深度学习、计算机视觉。
研究背景/选题意义/研究价值
近年来，高光谱图像分类因其在地物识别、环境监测、农业分析等实际应用中的广泛价值，已成为遥感领域的研究热点。高光谱图像不仅包含丰富的光谱信息，还能细致反映物体的光谱特征，使得其分类精度优于传统图像。然而，高光谱数据的高维特性带来了信息冗余、光谱混合等问题，尤其在地物类型复杂、分布不均且高度不平衡的场景中，这些问题更加突出，因此迫切需要创新和优化的分类算法。在此背景下，高光谱图像分类的深入研究意义重大，不仅能提升对高维数据特征的理解，推动图像分类技术进步，也能在精准农业和环境保护等领域实现智能化应用，促进相关产业的发展。
主要研究内容（节选）
首先，为了解决在识别不同尺度下的局部复杂特征形状以及处理光谱通道之间的线性和非线性复杂相关性的问题，提出了一种多尺度空间光谱信息交互的Transformer架构，如图1所示。该架构通过巧妙结合轻量级卷积和Transformer，能够有效融合局部与全局的多尺度空间特征和光谱信息，实现不同尺度特征之间的高效交互。其次，设计的多尺度空间光谱信息交互模块通过结合不同大小和方向的深度卷积核与频域处理方式，高效捕捉了多尺度空间光谱特征。在此基础上，引入基于距离协方差的距离均值互协方差表示，可以深入挖掘不同光谱通道之间的线性与非线性关系。此外，考虑到卷积核参数和联合光谱空间特征的提取需求，提出的混合卷积模块结合了多种轻量级卷积结构，以提取更深层次的光谱空间特征。最后，为了建模远程复杂特征关系，提出了一种多尺度双重交叉对称Transformer模块。该模块将多尺度映射后的丰富特征表示输入双重交叉对称注意力机制，增强了特征间的内部交互与融合，从而捕获更广泛的特征依赖关系。
图1 MS2I2Former模型的总体结构
主要创新点
（1）针对现有多尺度空间光谱特征提取技术的不足，提出了多尺度空谱信息交互模块，巧妙地集成了不同大小和方向的卷积核进行深度卷积和频域分析，有效地提取了涵盖局部细节和全局结构的多尺度空间光谱特征。同时，为了解决传统方法在揭示光谱波段之间相关性方面的局限性，采用距离协方差的距离均值交叉协方差表示挖掘不同光谱波段之间的线性和非线性相关性，为模型提供了更深入的光谱特征理解。
（2）为了减少高光谱数据处理中参数的数量和计算成本，提出了一个轻量化的混合卷积模块。该模块由两个分支组成:第一个分支采用分组点向卷积和分组卷积的结合，有效地减少了卷积核中的参数数量。它强调了每组内相邻波段的局部空间频谱联合特征，并通过信道混合增强了信道间的信息交换。第二分支将三维卷积与深度卷积相结合，全面提取空间光谱信息，在不产生过多计算开销的前提下提高了模型性能。
（3）针对高光谱图像处理中特征依赖关系的复杂性以及现有注意机制在捕获广泛依赖关系方面的局限性，提出了多尺度双重交叉对称Transformer模块。该模块通过多尺度映射为后续的双重交叉对称注意机制提供了丰富的特征表示，有效解决了特征表示不足的问题。通过采用双重交叉对称注意机制，增强了不同特征之间的交互和信息融合，使模型能够捕获更广泛的特征依赖关系，提高了模型的特征表示和处理复杂场景的能力。