2014-05-27阅读(12360)评论(1)

本文主要从代码的角度分析标注过程中的细节，理论谁都能说，但没几人能做出一个实用高效的系统。在得出粗分结果之后，需要对其进行人名、翻译人名、地名识别，然后重新KSP得出最终结果，在ICTCLAS中，这些标注都是通过HMM模型实现的。 人名识别...

2014-05-26阅读(28628)评论(12)

HMM（隐马尔可夫模型）是用来描述隐含未知参数的统计模型，举一个经典的例子：一个东京的朋友每天根据天气{下雨，天晴}决定当天的活动{公园散步,购物,清理房间}中的一种，我每天只能在twitter上看到她发的推“啊，我前天公园散步、昨天购物、...

2014-05-22阅读(15891)评论(20)

前言 今天连查带抄地用Java实现了N最短路径，马上要用到自己的分词器里了。 N最短路径其实就是K最短路径（KSP）的变种，KSP指的是DAG中单源路径中前K条最短的路径。求解KSP的算法有删除算法、改进的删除算法（MS Algorithm...

2014-05-20阅读(7305)评论(1)

Bigram语言模型中，分析的是连续两个词的组合概率。问题来了，“1人”和“2人”该怎么操作呢？这两个句子会被当成两种组合“1@人”和“2@人”，如果分别统计共现频次，会导致一个严重的问题，那就是对数词限定太死了，只在1人和2人的情况下能够...

2014-05-17阅读(17822)评论(19)

当分词系统有一份词典的时候，就可以生成词图了。所谓词图，指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 词图的...

2014-05-10阅读(13332)评论(5)

HanLP开源分词系统 支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句...

2014-05-02阅读(15275)评论(4)

最近正在做一个自己的NLP库，刚起步的第一个问题就是字典的储存与查询。毫无疑问，最佳的数据结构是Trie树，同时为了平衡效率和空间，决定使用双数组Trie树。现在的问题是，双数组Trie树是一个压缩的Trie树，在插入的时候需要递归调整ba...

2014-04-14阅读(10232)评论(4)

Python正则表达式处理中文文本文件一要注意编码，二要注意贪婪匹配模式。 以广为流传的人民日报分词语料为例： 人民网/nz 1月1日/t 讯/ng 据/p 《/w [纽约/nsf 时报/n]/nz 》/w 报道/v ，/w 美国/nsf ...

2014-04-08阅读(13086)评论(3)

NLTK包含Sinica （中央研究院）提供的繁体中文语料库，其在Python环境下的显示有些讲究。 NLTK sinica_treebank 显示中文 在IDLE中如果直接查看的话会显示十六进制码： >>> f...

2014-04-06阅读(12174)评论(0)

《Natural Language Processing with Python》里用到的NLTK在64位Windows上安装出了些问题。 我的工作站环境是Win7 AMD 64 + Python 2.7.6 64 bit，Visual S...