hankcs的文章

2014-11-21阅读(15590)评论(22)

早期博文含有大量错误，见谅。关于最大生成树句法分析器，请参考 Non-projective Dependency Parsing using Spanning Tree Algorithms 生成式句法分析指的是，生成一系列依存句法树，从它...

2014-11-19阅读(22968)评论(14)

本文旨在介绍CoNLL格式的中文依存语料库（汉语依存树库）、CoNLL格式相关工具，以及提供两个公开的中文依存语料库下载。 最近做完了分词、词性标注、命名实体识别、关键词提取、自动摘要、拼音、简繁转换、文本推荐，感觉HanLP初具雏形。现在...

2014-11-19阅读(47475)评论(51)

词性标注（Part-of-Speech tagging 或POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程。在汉语中，词性标注比较简单...

2014-11-18阅读(15335)评论(25)

命名实体识别中最难的部分当属实体机构名了，这是因为机构名的组成成分十分复杂，可以是人名、地名、序数词、企业字号甚至是上级机构名。本文介绍一种基于角色标注的层叠HMM模型下中文机构名识别方法。目前代码已整合到HanLP中，即将开源。 开源项目...

2014-11-17阅读(17946)评论(17)

命名实体识别（Named Entity Recognition）也是自然语言处理中的一个难关，特别是中文这样没有大小写等固定形态的语言。上次介绍过《实战HMM-Viterbi角色标注中国人名识别》，这次基于类似的原理，为HanLP实现中文地...

2014-11-12阅读(12126)评论(6)

命名实体中的人名识别包括中国人名，音译人名和日本人名。比如“北川景子参演了林诣彬导演，克里斯·摩根编剧的《速度与激情3》”“林志玲亮相网友:确定不是波多野结衣？”。 以前用三层HMM做过中国人名的识别，取得了满意的效果。这次来实现另外两种人...

2014-11-10阅读(18649)评论(44)

前段时间上手了NAT打洞类库ice4j（ICE框架），当时使用了numb.viagenie.ca的公共STUN服务器。最近又编译了rfc5766-turn-server，于是今天将两者结合起来，一个作为服务端，一个作为Peer端的协议，试验...

2014-11-09阅读(15097)评论(10)

问题 当文章有分页的时候，WordPress生成的永久链接是page.html/2的形式，前面一段是文章的$link，后面的数字代表分页$number。那么问题来了，挖掘……不对，从逻辑上讲这到底是个html文件还是一个目录呢？ 难看 在....

2014-11-09阅读(26366)评论(0)

上外 《日语综合教程》 翻译注解。点击生词后的数字可以跳转到解释，再次点击返回（BackSpace键也可），支持左右键(← →)翻页。 読み物 初日影のなかで       ...

2014-11-08阅读(37470)评论(33)

算法+语料≈NLP 这是一个六千万词汇量的分类词库，做HanLP这么久，我逐渐体会到，算法无法解决所有问题，词库也非常重要。通常一个算法可以解决80%的问题，剩下的20%无论怎么调节优化，都是拆东墙补西墙。比如上次我提到的“区人保”被HMM...