标签：CS224n

第3页

CS224n研究热点7 迈向更好的语言模型

2017-06-23阅读(4242)评论(0)

我们已经知道一些手段来改进语言模型，比如：更好的输入：词→词根→字符更好的正则化/预处理这些手段综合起来得到了更好的语言模型更好的输入文本的多种颗粒度：更细的颗粒度相当于减小了词表，让模型更容易做对选择。试验表明的确降低了err...

2017-06-22阅读(10120)评论(5)

这次课推导RNN，介绍各种训练技巧和拓展变种。梯度消失的推导很详细，用Python演示很直观，也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。语言模型语言模型就是计算一个单词序列（句子）的概率（$P(w_1...

2017-06-22阅读(4758)评论(0)

介绍了依存句法分析最近的3次突破性工作。什么是SyntaxNet 这是谷歌在16年开源的“世界上最精准的开源句法分析器”，它基于TF来做句法分析，现在支持40种语言（不包含简体中文）。这项工作在Chen & Manning的开山...

2017-06-21阅读(6376)评论(2)

这节课由TA们介绍了TF里的几个基本概念（graph、variable、placeholder、session、fetch、feed），基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练词向量。与优达学城的《深度学习公开课》不同之处在...

2017-06-21阅读(5055)评论(1)

术语Visual Dialog，大致这么翻译（通俗理解为斗图）。你可以给聊天机器人发送图片，它能理解图片的意思，你们可以就图片内容展开对话；除了文本之外，让图片也成为交流的一部分；这可以帮助盲人理解周围或社交媒体上的信息。这是自然语言处理...

2017-06-18阅读(16045)评论(35)

这是LaTex答案，Python代码开源在GitHub上。先进行大量的SG、CBOW、负采样、交叉熵损失函数推导和证明，理论基础扎实后平滑过渡到实现；在斯坦福情感树库上做情感分析、调参、分析混淆矩阵与错误。以前看不懂公式，总觉得代码是最重...

2017-06-16阅读(13546)评论(6)

句法分析还算熟悉，就跟着复习了神经网络句法分析的动机与手法，了解一下比较前沿的动向。语言学的两种观点如何描述语法，有两种主流观点，其中一种是短语结构文法，英文术语是：Constituency = phrase structure gra...

2017-06-15阅读(4689)评论(0)

主讲人是一位发音特别纯正的印度小哥，只有微量口音。这篇论文挑战了对神经网络的迷信，展示了传统模型的生命力以及调参的重要性。词语表示方法以前的课程中讲过两大类得到dense词语表示的方法，一般认为NN模型更好：这里的PPMI也是一种利用...

2017-06-11阅读(6660)评论(2)

最后一次数学课，其实都是些很基础的推导而已。从四个不同的层面讲解反向传播，其中电路和有向图类比还是很直观新颖的解释。任意层的通用公式第$l$层的残差： $$\delta^{(l)} = (W^{(l)T} \delta^{(l+1)})...

2017-06-10阅读(5449)评论(0)

Facebook的fastText 文本分类是NLP中常见的任务，比如情感分析：词袋模型虽然词袋模型只是所有词向量的某种平均，但其维度可以做到很低：为了抵抗词序丢失带来的语义丢失问题，可以用ngram特征来代替。简单的线...