放牧代码和思想
专注自然语言处理、机器学习算法

自然语言处理

“原子”因果常识图谱

“原子”因果常识图谱

hankcs阅读(280)评论(0)

AAAI19的论文(Sap et al. (2019))开源了一个包含87万条推理常识的知识图谱ATOMIC。相较于常见的基于本体论分类条目的知识图谱,该知识库专注于“如果…那么…”关系的知识。作者提出了9种类型的因果联系来区分原因-效果、...

定个小目标,发它一个亿条微博语料

定个小目标,发它一个亿条微博语料

hankcs阅读(1644)评论(13)

2019最新的微博语料,可用于预训练语言模型Weibo-BERT词向量等。由于比较时新,对网络流行语的建模可能很有帮助。每个压缩包都有两千多万条,一共5个。大家下载之后也算是有一个亿身家的人了,激动吧。感兴趣的同学要不要训练个Weibo-B...

依存句法分析在深度学习中的应用

依存句法分析在深度学习中的应用

hankcs阅读(1482)评论(0)

句法分析是一项核心的NLP任务,目标是获取句子的主谓宾等句法结构。下级应用时,给定依存句法树,传统时代利用规则提取句法树的特征;在深度学习时代,如何提取树的向量表示?本文调研了7种常用模型,涵盖Tree RNN、DCNN和GCN等。 Tre...

语义依存分析SDP格式

语义依存分析SDP格式

hankcs阅读(3538)评论(1)

本文是对SDP格式的官方文档的举例说明。对句子: More than a few CEOs say the red-carpet treatment tempts them to return to a heartland city for...

中文语义依存分析语料库

中文语义依存分析语料库

hankcs阅读(5835)评论(3)

本文介绍语义依存的语言学知识以及BH中文语义依存语料库的标注规范。 给定一个句子,语义依存分析(Semantic Dependency Parsing,SDP)任务试图找出所有在语义上有所关联的词语对,并且预测相应的语义标签。在中文界,最有...

A Hierarchical Bayesian Language Model based on Pitman-Yor Processes

A Hierarchical Bayesian Language Model based on Pitman-Yor Processes

hankcs阅读(4259)评论(2)

这篇论文通过把unigram上的Pitman-Yor语言模型拓展到ngram,提出了一种新的平滑方法,同时在理论和试验上证明了有效性。 大部分概率语言模型都是$n$-gram模型,利用每个单词给定的$n-1$个上文单词预测该单词,并估计整个...

简单有效的多标准中文分词

简单有效的多标准中文分词

hankcs阅读(7388)评论(14)

本文介绍一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能,在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享,复杂...

Deep Biaffine Attention for Neural Dependency Parsing

Deep Biaffine Attention for Neural Dependency Parsing

hankcs阅读(4568)评论(1)

这是斯坦福专攻Dependency Parsing的博士生Dozat在ICLR 2017上的论文,拿到了graph-based方法中的最高分,改进版还拿到了CoNLL 2017 Shared Task的第一。 基于图的依存句法分析需要解决两...

宾州树库和CTB的Python预处理脚本

宾州树库和CTB的Python预处理脚本

hankcs阅读(4400)评论(5)

在写句法分析器之前,通常需要将PTB和CTB预处理为: 一行一个句子,单文件; 符合规范比例的训练集/开发集/测试集; 去掉CTB中的xml标签,只保留句子,编码转换。 这些步骤很麻烦,因为通常bracketed的树形结构需要先解析才能转为...

深度学习中文分词调研

深度学习中文分词调研

hankcs阅读(5545)评论(19)

随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼“手快有,手慢无”。不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为例,真像一些论文所言,一个LSTM-CRF就有96.5%吗?或者像...

我的作品

HanLP自然语言处理包《自然语言处理入门》