CS224n笔记 的搜索结果

2017-06-22阅读(9187)评论(5)

这次课推导RNN，介绍各种训练技巧和拓展变种。梯度消失的推导很详细，用Python演示很直观，也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。 语言模型 语言模型就是计算一个单词序列（句子）的概率（$P(w_1...

2017-06-21阅读(5958)评论(2)

这节课由TA们介绍了TF里的几个基本概念（graph、variable、placeholder、session、fetch、feed），基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练词向量。与优达学城的《深度学习公开课》不同之处在...

2017-06-16阅读(12543)评论(6)

句法分析还算熟悉，就跟着复习了神经网络句法分析的动机与手法，了解一下比较前沿的动向。 语言学的两种观点 如何描述语法，有两种主流观点，其中一种是短语结构文法，英文术语是：Constituency = phrase structure gra...

2017-06-11阅读(6243)评论(2)

最后一次数学课，其实都是些很基础的推导而已。从四个不同的层面讲解反向传播，其中电路和有向图类比还是很直观新颖的解释。 任意层的通用公式 第$l$层的残差： $$\delta^{(l)} = (W^{(l)T} \delta^{(l+1)})...

2017-06-09阅读(7747)评论(0)

这节课介绍了根据上下文预测单词分类的问题，与常见神经网络课程套路不同，以间隔最大化为目标函数，推导了对权值矩阵和词向量的梯度；初步展示了与传统机器学习方法不一样的风格。 分类问题 给定训练集$$\{x^{(i)},y^{(i)}\}_1^N...

2017-06-08阅读(8657)评论(4)

这节课从传统的基于计数的全局方法出发，过渡到结合两者优势的GloVe，并介绍了词向量的调参与评测方法。 复习：word2vec的主要思路 遍历整个语料库中的每个词 预测每个词的上下文： 然后在每个窗口中计算梯度做SGD SGD与词向量 但每...

2017-06-07阅读(15002)评论(25)

如何表示一个词语的意思 先来看看如何定义“意思”的意思，英文中meaning代表人或文字想要表达的idea。这是个递归的定义，估计查询idea词典会用meaning去解释它。 中文中“意思”的意思更加有意思： 他说：“她这个人真有意思（fu...

2017-06-06阅读(21473)评论(24)

这是斯坦福CS224n的第一篇笔记，也是第一次系统地学习用深度学习来做自然语言处理。本文还整理了CS224n的全部视频课件笔记，汇总下载。 虽然深度学习已经席卷各大应用领域，大量开源工具让谁都能跳过理论基础速成demo专家。我却一直按部就班...