码农场

放牧代码和思想
专注自然语言处理、机器学习算法
    正处于一个非常忙的阶段,抱歉不会经常回应任何联络

最新发布 第2页

CS224n笔记13 卷积神经网络
自然语言处理

CS224n笔记13 卷积神经网络

hankcs阅读(297)评论(9)

补充了NLP中相对冷门的CNN,谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词,就算是bi-RNN,也不过是双向重蹈覆辙而已。 经常把过多注意力放到最后一个单词上。 比如,如果只想得到my birth的...

CS224n Assignment 3
命名实体识别

CS224n Assignment 3

hankcs阅读(442)评论(1)

命名实体识别任务,先实现基于窗口的基线模型,然后进阶到RNN和GRU。中间利用对自动机的模拟和推导展示RNN的缺点,演示梯度剪裁的作用。这是Latex解答,代码已提交,最后还有一个彩蛋。 命名实体识别初步 定位命名实体并将其分类到: 人名P...

CS224n笔记12 语音识别的end-to-end模型
自然语言处理

CS224n笔记12 语音识别的end-to-end模型

hankcs阅读(188)评论(0)

这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别,他正在英伟达工作,怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubuntu,一改以往“讲台必定信仰灯”的局面。 Automati...

CS224n笔记11 GRU和NMT的进一步话题
自然语言处理

CS224n笔记11 GRU和NMT的进一步话题

hankcs阅读(184)评论(0)

从动机层面直观地充实了GRU和LSTM的理解,介绍了MT的评测方法,讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。 深入GRU  把GRU再详细讲一讲。 RNN的梯度消失就不赘述了,红线连乘多次下溢出。 而GRU额外添...

CS224n研究热点9 读唇术
自然语言处理

CS224n研究热点9 读唇术

hankcs阅读(152)评论(0)

唇语翻译 将视频处理为以嘴唇为中心的图片序列,给或不给语音,预测正在讲的话。 这些数据可能来自新闻直播: 动画演示: 这里唇语和语音的识别、卡拉OK效果式的对齐,都是模型自动完成的。 架构 视觉和听觉两个模块或者混合交火或者单独使用,每次输...

CS224n笔记10 NMT与Attention
自然语言处理

CS224n笔记10 NMT与Attention

hankcs阅读(236)评论(0)

从NMT的历史谈到现代,讲解了attention机制的动机、原理及最新的拓展。通过实例展示谷歌翻译的变化,直言不讳指出其过度炒作。Manning今天还换上了新MBP,挺潮的。 机器翻译 传统衡量机器对语言理解的测试之一 同时涉及到语言分析与...

CS224n Assignment 2
自然语言处理

CS224n Assignment 2

hankcs阅读(358)评论(8)

先在TensorFlow上实现多项逻辑斯谛回归练练手,然后增加难度实现基于神经网络的转移依存句法分析,试验Xavier初始化、Dropout和Adam优化器。最后推导RNN和语言模型的困惑度、梯度、反向传播和复杂度。 Python代码开源在...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机