6.循环神经网络

6.1 给神经网络增加记忆能力

image-20250619181935666

image-20250619182053148

image-20250619182211448

image-20250619182838423

image-20250619183027304

image-20250619183102004

image-20250619183220196

6.2 循环神经网络

image-20250619183438773

image-20250619183626430

image-20250619183656238

image-20250619183728493

image-20250619183821778

6.3 应用到机器学习

image-20250619183852191

image-20250619184017724

image-20250619184038434

image-20250619184122924

image-20250619184209384

s是单个词的意思，b是一个词的开始，e是一个词的结束

image-20250619184259571

image-20250619184506163

没有结果产生的部分就是编码部分，有结果产生的部分就是解码部分

这是之前说的自回归模型

image-20250619184554697

6.4 参数学习

image-20250619184647479

image-20250619185307359

image-20250619185451231

image-20250619185723339

会让第t个时刻的时候收不到关于第k个时刻的损失对地t个时刻的影响 原因就是梯度爆炸或者梯度消失

6.5 如何解决长程依赖问题

让上图的伽马=1即可，但是这个条件很强，很难达到

image-20250619190128907

image-20250619190513215

6.6 GRU 和 LSTM

image-20250619190639444

image-20250619190847351

image-20250619190955831

image-20250619191214269

ft是遗忘门，说的是我们这次应该忘记多少信息

image-20250619191251814

6.7 深层循环神经网络

就是多叠了几层

image-20250619191554108

image-20250619191653641

image-20250619191811292

6.8 应用

image-20250619192039920

image-20250619192127735

image-20250619192228707

image-20250619192242123

image-20250619192301289

image-20250619192321576

image-20250619192337661

image-20250619192351576

image-20250619192412908

image-20250619192440892

6.9 扩展到图结构

image-20250619192557777

image-20250619192617815

image-20250619192807763

image-20250619192824007

image-20250619192902995

image-20250619193028186

image-20250619193049694

image-20250619193107861

image-20250619193125837