标签：RNN

2017-07-08阅读(11328)评论(4)

介绍了著名的复合性原理，由此启发得到树形RNN，用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN，讨论了进化历史和各自优缺点，演示了效果和在图像等领域的拓展应用。 语言模型光谱  最简陋最常用的是词袋模型...

2017-06-22阅读(9598)评论(5)

这次课推导RNN，介绍各种训练技巧和拓展变种。梯度消失的推导很详细，用Python演示很直观，也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。 语言模型 语言模型就是计算一个单词序列（句子）的概率（$P(w_1...

2017-05-20阅读(5994)评论(2)

首先简要介绍Hessian-Free优化理论。这是块硬骨头，并不要求一定掌握。 在给定方向上的移动能够将误差降低多少 在训练神经网络的时候，我们想要在error surface上尽量多地下降。梯度有了之后，具体能够迈多大一步呢？以二次曲线为...

2017-05-18阅读(6545)评论(0)

首先复习一下常见序列模型，包括BiGram、linear dynamic system和HMM。通过对简单模型的比较学习，加深对RNN的理解。 为序列建模 目的是将一个输入序列转化为一个输出序列，如机器翻译、语音识别。 当不区分输入和输出序...

2016-11-19阅读(6932)评论(1)

最后一次任务，至此速战速决解决了这门快餐课程。心得是作为一个“懒惰的工程师”，对常见的深度学习模型、技巧、应用有了浅显的了解。但对“好奇的求知者”来讲，则只能说看了一张模糊不清的缩略图，许多理论和细节得通过正式一些的课程去补充。 任务 6:...