放牧代码和思想
专注自然语言处理、机器学习算法
    恕不接待索要源码语料者、索求技术方案者、以及不Google的懒人。

标签:RNN

CS224n笔记14 Tree RNN与短语句法分析
自然语言处理

CS224n笔记14 Tree RNN与短语句法分析

hankcs阅读(649)评论(2)

介绍了著名的复合性原理,由此启发得到树形RNN,用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN,讨论了进化历史和各自优缺点,演示了效果和在图像等领域的拓展应用。 语言模型光谱  最简陋最常用的是词袋模型...

CS224n笔记8 RNN和语言模型
自然语言处理

CS224n笔记8 RNN和语言模型

hankcs阅读(665)评论(3)

这次课推导RNN,介绍各种训练技巧和拓展变种。梯度消失的推导很详细,用Python演示很直观,也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。 语言模型 语言模型就是计算一个单词序列(句子)的概率($P(w_1...

Hinton神经网络公开课8 More recurrent neural networks
机器学习

Hinton神经网络公开课8 More recurrent neural networks

hankcs阅读(649)评论(2)

首先简要介绍Hessian-Free优化理论。这是块硬骨头,并不要求一定掌握。 在给定方向上的移动能够将误差降低多少 在训练神经网络的时候,我们想要在error surface上尽量多地下降。梯度有了之后,具体能够迈多大一步呢?以二次曲线为...

Hinton神经网络公开课7 Recurrent neural networks
机器学习

Hinton神经网络公开课7 Recurrent neural networks

hankcs阅读(704)评论(0)

首先复习一下常见序列模型,包括BiGram、linear dynamic system和HMM。通过对简单模型的比较学习,加深对RNN的理解。 为序列建模 目的是将一个输入序列转化为一个输出序列,如机器翻译、语音识别。 当不区分输入和输出序...

谷歌深度学习公开课任务 6: LSTMs
机器学习

谷歌深度学习公开课任务 6: LSTMs

hankcs阅读(1500)评论(1)

最后一次任务,至此速战速决解决了这门快餐课程。心得是作为一个“懒惰的工程师”,对常见的深度学习模型、技巧、应用有了浅显的了解。但对“好奇的求知者”来讲,则只能说看了一张模糊不清的缩略图,许多理论和细节得通过正式一些的课程去补充。 任务 6:...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机