2 通道注意力残差神经网络原理

通过多层卷积运算，网络自动习得二维原始信号的各层次特征，并最终形成了反映原始信号特点的抽象分布式特征。在叠加卷积层的前向传递过程中，加入一些快捷连接，在实现模型深层次学习能力的基础上稳步提高了网络的识别准确度^[12]。在引入不降维的局部跨信道交互策略后，可以在显著降低模型复杂度的同时保持性能。

2.1 局部跨信道交互策略（ECA模块）

Wang等人^[13]提出了一种有效的通道注意力（ECA）模块，通过对SENet中通道注意力模块的分析，得出对于学习通道注意力避免降维非常重要。在此基础上，作者提出了一种不降维的局部跨信道交互策略，在显著提高网络性能的同时降低复杂度，该方法通过一维卷积有效的实现。

ECA模块是在SENet的基础上发展起来的，它在对通道经过不降维的全局平均池化后，采用每个通道及其k个邻居来捕获局部跨通道交互信息。