Notes on Section 6.6

这一节主要讲述的是LeNet的架构

我们一fashion-mnis测试集作为数据，则对应的网络结构如下

我们可以观察到，LeNet由两组“卷积+激活+池化”构成卷积块，然后通过展平层和全连接快相连

“请注意，虽然ReLU和最大汇聚层更有效，但它们在20世纪90年代还没有出现。”

在两个卷积层的作用下，模型的感受野变大，特征维度增加（通道），从而语义表达增强。

在线性层处理的时候，经由400-120-84-10可以逐层归纳特征，（其中84与LeNet 当时使用了一种基于 ASCII 码字符位图 的设计有关），另外在原网络中最后一层存在一个高斯激活，在这里被省略了。