2017-07-13阅读(4858)评论(2)

这是自我组装推断的QA，可接受多种知识，包括图片和结构化知识库。问答具有复合性，很早就有人引入句法分析判断究竟在问什么，甚至脑洞大开想做自然语言编译器。但他们总是脱离不了手写规则的思维，白白糟蹋了性能卓越的句法分析器。而该模型自动组装多个神...

2017-07-12阅读(9215)评论(2)

最有意思的一课，将所有NLP任务视作QA问题。模仿人类粗读文章和问题，再带着问题反复阅读文章的行为，利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译、QA等一系列任务。 是否所有NLP任务都可视作QA？ 问答系统举例如下： ...

2017-07-12阅读(4431)评论(0)

在培训码农的时候，教师需要给学生批改代码、写反馈。学生太多时成为机械劳动，这篇论文研究自动编码程序的语义表示。数据集来自斯坦福开发的模拟操控机器人的语言。 表示代码  希望得到代码的简洁表示、运行后会得到什么结果，哪怕它无法编译运...

2017-07-11阅读(18412)评论(1)

从规则启发式代词回指消解出发，介绍了传统特征工程二分类模型、启发式损失的分类模型，过渡到利用强化学习自动缩放损失的神经网络模型。 什么是指代消解  找出文本中名词短语所指代的真实世界中的事物。比如： 不只是代词能够指代其他事物，所...

2017-07-11阅读(4132)评论(0)

任务与数据集  自动生成C＃和SQL代码的文档描述，数据集整理自StackOverflow上的提问。 子任务  根据代码生成摘要，或根据问题检索代码。 网络架构  一个LSTM处理已生成的文本token，一个在...

2017-07-08阅读(10902)评论(4)

介绍了著名的复合性原理，由此启发得到树形RNN，用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN，讨论了进化历史和各自优缺点，演示了效果和在图像等领域的拓展应用。 语言模型光谱  最简陋最常用的是词袋模型...

2017-07-07阅读(4925)评论(0)

这篇论文研究如何训练聊天机器人进行有意义的对话，常规方法是seq2seq： 与上几次课讲的机器翻译框架相同，encoder与decoder，相同的极大似然估计目标函数。 seq2seq的缺陷  通过该方法训练出来的聊天机器人容易陷...

2017-07-04阅读(6393)评论(13)

补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈覆辙而已。 经常把过多注意力放到最后一个单词上。 比如，如果只想得到my birth的...

2017-07-04阅读(4595)评论(0)

动机 大多数神经网络语言模型其实并没有注意到结构类似的词语意义也类似这种语言现象，这使它们无法赋予低频词合适的表示。所以这个新模型的目标是： 编码词素相关性：eventful, eventfully, uneventful 解决低频词问题 ...

2017-07-03阅读(12949)评论(5)

命名实体识别任务，先实现基于窗口的基线模型，然后进阶到RNN和GRU。中间利用对自动机的模拟和推导展示RNN的缺点，演示梯度剪裁的作用。这是Latex解答，代码已提交，最后还有一个彩蛋。 命名实体识别初步 定位命名实体并将其分类到： 人名P...