hankcs的文章

2017-07-08阅读(10926)评论(4)

介绍了著名的复合性原理，由此启发得到树形RNN，用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN，讨论了进化历史和各自优缺点，演示了效果和在图像等领域的拓展应用。 语言模型光谱  最简陋最常用的是词袋模型...

2017-07-07阅读(4936)评论(0)

这篇论文研究如何训练聊天机器人进行有意义的对话，常规方法是seq2seq： 与上几次课讲的机器翻译框架相同，encoder与decoder，相同的极大似然估计目标函数。 seq2seq的缺陷  通过该方法训练出来的聊天机器人容易陷...

2017-07-04阅读(6414)评论(13)

补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈覆辙而已。 经常把过多注意力放到最后一个单词上。 比如，如果只想得到my birth的...

2017-07-04阅读(4611)评论(0)

动机 大多数神经网络语言模型其实并没有注意到结构类似的词语意义也类似这种语言现象，这使它们无法赋予低频词合适的表示。所以这个新模型的目标是： 编码词素相关性：eventful, eventfully, uneventful 解决低频词问题 ...

2017-07-03阅读(12975)评论(5)

命名实体识别任务，先实现基于窗口的基线模型，然后进阶到RNN和GRU。中间利用对自动机的模拟和推导展示RNN的缺点，演示梯度剪裁的作用。这是Latex解答，代码已提交，最后还有一个彩蛋。 命名实体识别初步 定位命名实体并将其分类到： 人名P...

2017-07-01阅读(8178)评论(1)

这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别，他正在英伟达工作，怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubuntu，一改以往“讲台必定信仰灯”的局面。 Automati...

2017-06-30阅读(5607)评论(0)

从动机层面直观地充实了GRU和LSTM的理解，介绍了MT的评测方法，讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。 深入GRU  把GRU再详细讲一讲。 RNN的梯度消失就不赘述了，红线连乘多次下溢出。 而GRU额外添...

2017-06-30阅读(4763)评论(0)

唇语翻译 将视频处理为以嘴唇为中心的图片序列，给或不给语音，预测正在讲的话。 这些数据可能来自新闻直播： 动画演示： 这里唇语和语音的识别、卡拉OK效果式的对齐，都是模型自动完成的。 架构 视觉和听觉两个模块或者混合交火或者单独使用，每次输...

2017-06-28阅读(7256)评论(1)

从NMT的历史谈到现代，讲解了attention机制的动机、原理及最新的拓展。通过实例展示谷歌翻译的变化，直言不讳指出其过度炒作。Manning今天还换上了新MBP，挺潮的。 机器翻译 传统衡量机器对语言理解的测试之一 同时涉及到语言分析与...

2017-06-27阅读(4795)评论(1)

双语NMT 一般“瘦弱”的NMT系统只支持双语单向翻译，比如课上常见的这种： 如果想实现一个模型支持多语种互译怎么办呢？ 土办法 之前的尝试是使用多对encoder-decoder pair、一个encoder多个decoder、多个enc...