2014年03月的文章

2014-03-19阅读(9071)评论(4)

事实上，ansj实现的双数组没有通用性，你也无法往里面加入自己的词语，或者删除任何词语。我实现了一个通用的双数组trie树，提供更灵活的接口，更高的速度：http://www.hankcs.com/nlp/hanlp.html。 array...

2014-03-18阅读(39345)评论(65)

双数组Trie树(DoubleArrayTrie)是一种空间复杂度低的Trie树，应用于字符区间大的语言（如中文、日文等）分词领域。 双数组Trie (Double-Array Trie)结构由日本人JUN-ICHI AOE于1989年提出...

2014-03-17阅读(11766)评论(0)

这个错误涉及到一点编译时自动类型转换的知识，一段触发代码（取消第二行的注释）： #include <iostream> #include <bitset> using namespace...

2014-03-15阅读(7004)评论(0)

C/C++的基本功了，在看ICTCLAS分词源码的时候偶然看到，写段例子验证一下。 由于ANSI字符有128个, 所以, ANSI字符的bit最高位为0, 当bit最高位为1时, 就表示是个双字节字符了。而char（也即是signed ch...

2014-03-14阅读(33307)评论(15)

上外 《日语综合教程》 翻译注解。友情提示：点击生词后面的小数字可以跳转到解释，再次点击返回（Backspace键也可返回）。 読み物 自然との触れ合い   長谷川侉南     私...

2014-03-14阅读(140269)评论(1)

上外 《日语综合教程》 翻译注解。友情提示：点击生词后面的小数字可以跳转到解释，再次点击返回（Backspace键也可返回）。 上外《日语综合教程》第6册，最后一页有翻译译文。 第二課　自然との出会い 本文 ブナ林(りん...

2014-03-12阅读(17022)评论(21)

最近在看Ansj中文分词的源码，以前没有涉足过这个领域，所以需要做一些笔记。 2015年4月13日更新 经过研究与试验，我觉得trie树分词是一种很落后的技术。 最完美的分词、停用词过滤的技术是Aho Corasick自动机结合Double...

2014-03-11阅读(5072)评论(3)

AOJ 2170: Marked Ancestor 染色祖先：距离某节点最近的染色节点称为祖先，求染色过程中各节点祖先。 2.4 加工并储存数据的数据结构 并查集 稍有些复杂，需要bfs和两棵树。一棵树用来维护并查集，一棵树用来保存原来的树...

2014-03-09阅读(9452)评论(4)

在Lucene4.6中通过SynonymFilterFactory实现中文同义词非常方便，只需几行代码和一个同义词词典。这个词典还能在Lucene中实现一定程度的拼写纠错，提升搜索体验。在下面这个例子中我们从磁盘载入一个同义词词典，并且对“...

2014-03-09阅读(7203)评论(1)

POJ 1703 Find them, Catch them 无间道：有N名来自两个帮派的坏蛋，已知一些坏蛋两两不属于同一帮派，求判断给定两个坏蛋是否属于同一帮派。 2.4 加工并储存数据的数据结构 并查集 这题真的很简单，是食物链的弱化版...