五、卷积神经网络

image-20250619121034084

我们希望有一个新的网络可以提取局部不变性

5.1 卷积

image-20250619152129122

image-20250619152417115

前两个输入都不卷，从第三个开始卷，因为滤波器的长度是3

每次选定三个数卷，比如前三个，1,1,2

2* (-1) + 1*0+1*1= -1

然后根据公式就是如上计算，就是滤波器的第三个对应当前选定的三个值的第一个，第二个对第二个，第一个对第三个，其实就是倒着来的，后面的也都是如此

然后可以看到，输入有7个，输出有5个，滤波器大小是3，那么关系就是7-3+1=5

也就是n-k+1=5

image-20250619153015496

image-20250619153139560

image-20250619153447719

零填充很常用，因为这个可以让输入和输出长度相同

比如图中输入是7，滤波器是3，输出本来应该是5，现在零填空P=1，那就是补了两个零，表面上输入好像成9了，这么一算，输出就是7，但实际上输入还是原来的7，因为那两个0是补进去的

其实P=(k-1)/2，也就是输入会补k-1个0

image-20250619154024386

image-20250619154220811

5-3+1=3,依旧满足上面那个规则

image-20250619154259420

image-20250619154431171

5.2 卷积神经网络

image-20250619155814620

用卷积核代替全连接，原来每个连接都是一个参数，现在换成卷积核，这里卷积核是3（滤波器大小），所以参数也就是3个，再加上一个偏置b，一共是4个，偏置也是共享的

而且这个参数数量和输入的神经元数量无关

image-20250619160050746

不反着来正着来就是互相关，即w1对x1，w2对x2，一般不做特殊说明就是互相关

image-20250619160443152

D就是通道数，在右边这张图里面就是3，MN是原来的大小

image-20250619160650085

image-20250619160734078

image-20250619160901588

image-20250619160939633

划分成区域就可以显著降低神经元个数了，原来4*4变成了2*2

划分成4个互不相交的区域以后，怎么汇聚 可以是平均值或者最大值或者其他的规则

image-20250619161238449

image-20250619161448275

5.3 其他卷积

image-20250619161648794

空洞其实就是插入0，把3*3弄成5*5的

image-20250619161925896

5.4 经典卷积网络

image-20250619162352603

image-20250619162702099

image-20250619162738719

image-20250619162757235

image-20250619162931213

image-20250619162945347

image-20250619163005010

image-20250619163234503

直连边会让求导会有一个恒等的1，也就是如果想让层数深的话，直接相连的边必不可少

5.5 卷积网络的应用

image-20250619163522931

image-20250619163602818

image-20250619163637454

image-20250619163645170

5.6 应用到文本数据

image-20250619163953538

image-20250619164123980

image-20250619164151031

image-20250619164251329