码农场

放牧代码和思想
专注自然语言处理、机器学习算法
    博主不用扣扣,公事请博客留言,私事请微博私信。开源项目一律GitHub见,发错地方恕不回复,谢谢。

最新发布 第2页

CS224n研究热点14 自动组合神经网络做问答系统
自然语言处理

CS224n研究热点14 自动组合神经网络做问答系统

hankcs阅读(629)评论(0)

这是自我组装推断的QA,可接受多种知识,包括图片和结构化知识库。问答具有复合性,很早就有人引入句法分析判断究竟在问什么,甚至脑洞大开想做自然语言编译器。但他们总是脱离不了手写规则的思维,白白糟蹋了性能卓越的句法分析器。而该模型自动组装多个神...

CS224n笔记16 DMN与问答系统
自然语言处理

CS224n笔记16 DMN与问答系统

hankcs阅读(1349)评论(1)

最有意思的一课,将所有NLP任务视作QA问题。模仿人类粗读文章和问题,再带着问题反复阅读文章的行为,利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译、QA等一系列任务。 是否所有NLP任务都可视作QA? 问答系统举例如下: ...

CS224n研究热点13 学习代码的语义
自然语言处理

CS224n研究热点13 学习代码的语义

hankcs阅读(510)评论(0)

在培训码农的时候,教师需要给学生批改代码、写反馈。学生太多时成为机械劳动,这篇论文研究自动编码程序的语义表示。数据集来自斯坦福开发的模拟操控机器人的语言。 表示代码  希望得到代码的简洁表示、运行后会得到什么结果,哪怕它无法编译运...

CS224n笔记15 指代消解
自然语言处理

CS224n笔记15 指代消解

hankcs阅读(1539)评论(0)

从规则启发式代词回指消解出发,介绍了传统特征工程二分类模型、启发式损失的分类模型,过渡到利用强化学习自动缩放损失的神经网络模型。 什么是指代消解  找出文本中名词短语所指代的真实世界中的事物。比如: 不只是代词能够指代其他事物,所...

CS224n笔记14 Tree RNN与短语句法分析
自然语言处理

CS224n笔记14 Tree RNN与短语句法分析

hankcs阅读(1443)评论(4)

介绍了著名的复合性原理,由此启发得到树形RNN,用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN,讨论了进化历史和各自优缺点,演示了效果和在图像等领域的拓展应用。 语言模型光谱  最简陋最常用的是词袋模型...

CS224n笔记13 卷积神经网络
自然语言处理

CS224n笔记13 卷积神经网络

hankcs阅读(1000)评论(11)

补充了NLP中相对冷门的CNN,谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词,就算是bi-RNN,也不过是双向重蹈覆辙而已。 经常把过多注意力放到最后一个单词上。 比如,如果只想得到my birth的...

CS224n Assignment 3
命名实体识别

CS224n Assignment 3

hankcs阅读(1996)评论(3)

命名实体识别任务,先实现基于窗口的基线模型,然后进阶到RNN和GRU。中间利用对自动机的模拟和推导展示RNN的缺点,演示梯度剪裁的作用。这是Latex解答,代码已提交,最后还有一个彩蛋。 命名实体识别初步 定位命名实体并将其分类到: 人名P...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机