放牧代码和思想
专注自然语言处理、机器学习算法
    博主不用扣扣,公事请博客留言,私事请微博私信。开源项目一律GitHub见,发错地方恕不回复,谢谢。

2014年11月的文章

最大熵依存句法分析器的实现
句法分析

最大熵依存句法分析器的实现

hankcs阅读(4598)评论(6)

这是一个判决式汉语句法分析器的Java实现,基于最大熵模型和最大生成树模型,实现了中文依存句法的自动分析,分析速度达到 570.7句/秒。 开源项目 本文代码已集成到HanLP中开源:http://www.hankcs.com/n...

POJ 3420 Quad Tiling 题解 《挑战程序设计竞赛》
算法

POJ 3420 Quad Tiling 题解 《挑战程序设计竞赛》

hankcs阅读(2364)评论(2)

POJ 3420 Quad Tiling 贴瓷砖:4*N的地板上用2*1的瓷砖铺满,求所有方案数对M求余。 3.4熟练掌握动态规划 矩阵的幂 久违地上了节课,太无聊,只好刷一题。 假设S[n]表示填满n时的方案数,有S[0]=1。定义矩阵 ...

最大熵的Java实现
自然语言处理

最大熵的Java实现

hankcs阅读(5044)评论(11)

这是一个最大熵的简明Java实现,提供训练与预测接口。训练采用GIS训练算法,附带示例训练集。本文旨在介绍最大熵的原理、分类和实现,不涉及公式推导或其他训练算法,请放心食用。 最大熵理论 简介 最大熵属于辨识模型,能够满足所有已知的约束, ...

生成式依存句法分析器的简单实现
句法分析

生成式依存句法分析器的简单实现

hankcs阅读(5609)评论(17)

生成式句法分析指的是,生成一系列依存句法树,从它们中用特定算法挑出概率最大那一棵。句法分析中,生成模型的构建主要使用三类信息:词性信息、词汇信息和结构信息。前二类很好理解,而结构信息需要特殊语法标记,不做考虑。 本文主要利用了词汇+词性生成...

汉语树库
语料库

汉语树库

hankcs阅读(7118)评论(14)

本文旨在介绍CoNLL格式的中文依存语料库(汉语依存树库)、CoNLL格式相关工具,以及提供两个公开的中文依存语料库下载。 最近做完了分词、词性标注、命名实体识别、关键词提取、自动摘要、拼音、简繁转换、文本推荐,感觉HanLP初具雏形。现在...

词性标注
中文分词

词性标注

hankcs阅读(10210)评论(39)

词性标注(Part-of-Speech tagging 或POS tagging),又称词类标注或者简称标注,是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或其他词性的过程。在汉语中,词性标注比较简单...

层叠HMM-Viterbi角色标注模型下的机构名识别
命名实体识别

层叠HMM-Viterbi角色标注模型下的机构名识别

hankcs阅读(5027)评论(18)

命名实体识别中最难的部分当属实体机构名了,这是因为机构名的组成成分十分复杂,可以是人名、地名、序数词、企业字号甚至是上级机构名。本文介绍一种基于角色标注的层叠HMM模型下中文机构名识别方法。目前代码已整合到HanLP中,即将开源。 开源项目...

实战HMM-Viterbi角色标注地名识别
命名实体识别

实战HMM-Viterbi角色标注地名识别

hankcs阅读(5510)评论(16)

命名实体识别(Named Entity Recognition)也是自然语言处理中的一个难关,特别是中文这样没有大小写等固定形态的语言。上次介绍过《实战HMM-Viterbi角色标注中国人名识别》,这次基于类似的原理,为HanLP实现中文地...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机