残差连接（Residual Connection），又称跳跃连接（Skip Connection），是深度学习中的一种关键结构，由ResNet（Residual Network）首次提出，旨在解决深层网络训练中的梯度消失/爆炸和网络退化问题。以下是关于残差连接的全面解析：

1. 残差连接的背景与意义

• 核心问题：传统深层网络随着层数增加，训练难度增大，表现为：
• 梯度消失/爆炸：反向传播时梯度逐层衰减或激增。
• 网络退化（Degradation）：更深网络的训练误差反而高于浅层网络，并非由过拟合引起。
• 解决方案：残差学习通过引入跨层直连路径，使网络更容易学习恒等映射（Identity Ma...

Read more

感受野（Receptive Field） 是深度学习中卷积神经网络（CNN）的核心概念，指输入图像中对网络某一层中特定神经元激活产生影响的区域大小。简单来说，它表示神经元“看到”的输入范围。以下是关于感受野的详细解析：

1. 感受野的重要性

• 上下文理解：较大的感受野能捕捉更广泛的上下文信息（如物体整体结构），适合分类、分割等任务。
• 细节捕捉：较小的感受野关注局部特征（如边缘、纹理），适用于细粒度识别。
• 网络设计：通过调整感受野，可以平衡模型的全局与局部感知能力。

2. 感受野的计算

感受野的计算与网络层的堆叠方式密切相关，常用公式为： [ RF_{l} = RF_{l-1} + ...

Read more