04-从矩阵到CNN

将神经网络中的运算写作矩阵形式并做抽象，就得到了上述结果。其中，某一层的神经元与前一层和后一层的神经元均相连的结构，就叫做全连接层（FC）。

先来看全连接层的问题，假设输入为30x30的图像数据，那么输入神经元就有900个，假设下一层有1000个神经元，那么参数就有900000个，这显然是不合理的。另外，这里仅仅是将输入的图片平铺展开，无法保留像素间的空间关系，图片稍微动一下，可能所有神经元都和以前完全不同，但从图片整体来看，可能就是图片整体平移或者变暗，这就是不能很好地理解图像的局部模式。

这时候，可以取一个固定的矩阵，将其与图像进行对应相乘再相加得到新的图像，这个过程叫做卷积，这个矩阵叫做卷积核。在深度学习领域，卷积核的值是未知的，需要通过训练得到。

将神经网络中的某一层替换为卷积运算，就能大幅降低参数量，同时保留图像的空间信息。

同时，神经网络的形式也可以更加抽象：

在图像处理领域，在卷积层后通常会有一层池化层（Pooling），用于降低图像的分辨率，从而降低参数量，同时保留图像的主要特征。除输入层、输出层之外的层在神经网络中都可以存在多个，而这种适用于图像识别领域的神经网络结构叫做卷积神经网络（CNN）。

CNN主要应用于静态场景，如图片，对于动态场景，如视频、音频等，则要使用循环神经网络（RNN）。