放牧代码和思想
专注自然语言处理、机器学习算法
    Why join the Navy if you can be a pirate?

自然语言处理

CS224n笔记9 机器翻译和高级LSTM及GRU

CS224n笔记9 机器翻译和高级LSTM及GRU

hankcs阅读(43)评论(0)

简单回顾了传统统计机器翻译中的难题,过渡到利用GRU和LSTM来救场,最后介绍了一些较新的改进工作。 机器翻译 对于情感分析这类还算简单的任务,你可以整理一个情感极性词典、编写一堆规则做出一个勉强能用的系统。但到了机器翻译这个高级应用,就无...

CS224n研究热点7 迈向更好的语言模型

CS224n研究热点7 迈向更好的语言模型

hankcs阅读(38)评论(0)

我们已经知道一些手段来改进语言模型,比如: 更好的输入:词→词根→字符 更好的正则化/预处理 这些手段综合起来得到了更好的语言模型 更好的输入 文本的多种颗粒度: 更细的颗粒度相当于减小了词表,让模型更容易做对选择。试验表明的确降低了err...

CS224n笔记8 RNN和语言模型

CS224n笔记8 RNN和语言模型

hankcs阅读(78)评论(0)

这次课推导RNN,介绍各种训练技巧和拓展变种。梯度消失的推导很详细,用Python演示很直观,也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。 语言模型 语言模型就是计算一个单词序列(句子)的概率($P(w_1...

CS224n笔记7 TensorFlow入门

CS224n笔记7 TensorFlow入门

hankcs阅读(115)评论(0)

这节课由TA们介绍了TF里的几个基本概念(graph、variable、placeholder、session、fetch、feed),基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练词向量。与优达学城的《深度学习公开课》不同之处在...

CS224n研究热点5 图像对话

CS224n研究热点5 图像对话

hankcs阅读(30)评论(0)

术语Visual Dialog,大致这么翻译(通俗理解为斗图)。你可以给聊天机器人发送图片,它能理解图片的意思,你们可以就图片内容展开对话;除了文本之外,让图片也成为交流的一部分;这可以帮助盲人理解周围或社交媒体上的信息。 这是自然语言处理...

CS224n Assignment 1

CS224n Assignment 1

hankcs阅读(117)评论(2)

这是LaTex答案,Python代码开源在GitHub上。先进行大量的SG、CBOW、负采样、交叉熵损失函数推导和证明,理论基础扎实后平滑过渡到实现;在斯坦福情感树库上做情感分析、调参、分析混淆矩阵与错误。 以前看不懂公式,总觉得代码是最重...

CS224n笔记6 句法分析

CS224n笔记6 句法分析

hankcs阅读(104)评论(0)

句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向。 语言学的两种观点 如何描述语法,有两种主流观点,其中一种是短语结构文法,英文术语是:Constituency = phrase structure gra...

CS224n研究热点4 词嵌入对传统方法的启发

CS224n研究热点4 词嵌入对传统方法的启发

hankcs阅读(46)评论(0)

主讲人是一位发音特别纯正的印度小哥,只有微量口音。这篇论文挑战了对神经网络的迷信,展示了传统模型的生命力以及调参的重要性。 词语表示方法 以前的课程中讲过两大类得到dense词语表示的方法,一般认为NN模型更好: 这里的PPMI也是一种利用...

CS224n笔记5 反向传播与项目指导

CS224n笔记5 反向传播与项目指导

hankcs阅读(132)评论(0)

最后一次数学课,其实都是些很基础的推导而已。从四个不同的层面讲解反向传播,其中电路和有向图类比还是很直观新颖的解释。 任意层的通用公式 第$l$层的残差: $$\delta^{(l)} = (W^{(l)T} \delta^{(l+1)})...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机