2019-10-14阅读(11231)评论(8)

句法分析是一项核心的NLP任务，目标是获取句子的主谓宾等句法结构。下级应用时，给定依存句法树，传统时代利用规则提取句法树的特征；在深度学习时代，如何提取树的向量表示？本文调研了7种常用模型，涵盖Tree RNN、DCNN和GCN等。 Tre...

2019-01-10阅读(7778)评论(1)

本文是对SDP格式的官方文档的举例说明。对句子： More than a few CEOs say the red-carpet treatment tempts them to return to a heartland city for...

2018-12-02阅读(14120)评论(6)

HanLP 2.0语义分析模块已开源！支持中文语义分析和英文语义分析等。 本文介绍语义依存的语言学知识以及BH中文语义依存语料库的标注规范。 给定一个句子，语义依存分析（Semantic Dependency Parsing，SDP）任务试...

2018-02-07阅读(9626)评论(2)

这篇论文通过把unigram上的Pitman-Yor语言模型拓展到ngram，提出了一种新的平滑方法，同时在理论和试验上证明了有效性。 大部分概率语言模型都是$n$-gram模型，利用每个单词给定的$n-1$个上文单词预测该单词，并估计整个...

2017-12-11阅读(16285)评论(16)

本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂...

2017-11-25阅读(10893)评论(3)

这是斯坦福专攻Dependency Parsing的博士生Dozat在ICLR 2017上的论文，拿到了graph-based方法中的最高分，改进版还拿到了CoNLL 2017 Shared Task的第一。 基于图的依存句法分析需要解决两...

2017-11-04阅读(9959)评论(8)

在写句法分析器之前，通常需要将PTB和CTB预处理为： 一行一个句子，单文件； 符合规范比例的训练集/开发集/测试集； 去掉CTB中的xml标签，只保留句子，编码转换。 这些步骤很麻烦，因为通常bracketed的树形结构需要先解析才能转为...

2017-08-10阅读(10988)评论(19)

随着深度学习的普及，有越来越多的研究应用新模型到中文分词上，让人直呼“手快有，手慢无”。不过这些神经网络方法的真实水平如何？具体数值多少？以Sighan05中的PKU数据集为例，真像一些论文所言，一个LSTM-CRF就有96.5%吗？或者像...

2017-07-14阅读(11892)评论(0)

最后一课，总结了目前这两个领域中的难题，介绍了一些前沿研究：快16倍的QRNN、自动设计神经网络的NAS等。 深度学习已经漂亮地完成了许多单项任务，但如果我们继续随机初始化模型参数，我们永远也无法得到一个可以完全理解语言的系统。模型就像蒙住...

2017-07-14阅读(5837)评论(2)

    这次讲座覆盖了来自DeepMind的两篇论文： 第二篇是第一篇的轻微改进，这里只关注抽象思想。 问题  目前的神经网络擅长模式识别和动态决策，但无法使用知识进行深思或推断。比如明明可以胜任电子游戏这么复...