放牧代码和思想
专注自然语言处理、机器学习算法
    愛しさ 優しさ すべて投げ出してもいい

2014年11月的文章

最大熵依存句法分析器的实现
句法分析

最大熵依存句法分析器的实现

阅读(12151)评论(7)

这是一个判决式汉语句法分析器的Java实现,基于最大熵模型和最大生成树模型,实现了中文依存句法的自动分析,分析速度达到 570.7句/秒。 开源项目 本文代码已集成到HanLP中开源:http://www.hankcs.com/n...

POJ 3420 Quad Tiling 题解 《挑战程序设计竞赛》
算法

POJ 3420 Quad Tiling 题解 《挑战程序设计竞赛》

阅读(5387)评论(2)

POJ 3420 Quad Tiling 贴瓷砖:4*N的地板上用2*1的瓷砖铺满,求所有方案数对M求余。 3.4熟练掌握动态规划 矩阵的幂 久违地上了节课,太无聊,只好刷一题。 假设S[n]表示填满n时的方案数,有S[0]=1。定义矩阵 ...

最大熵的Java实现
自然语言处理

最大熵的Java实现

阅读(10685)评论(12)

这是一个最大熵的简明Java实现,提供训练与预测接口。训练采用GIS训练算法,附带示例训练集。本文旨在介绍最大熵的原理、分类和实现,不涉及公式推导或其他训练算法,请放心食用。 最大熵理论 简介 最大熵属于辨识模型,能够满足所有已知的约束, ...

依存句法分析器的简单实现
句法分析

依存句法分析器的简单实现

阅读(14753)评论(22)

早期博文含有大量错误,见谅。关于最大生成树句法分析器,请参考 Non-projective Dependency Parsing using Spanning Tree Algorithms 生成式句法分析指的是,生成一系列依存句法树,从它...

汉语树库
语料库

汉语树库

阅读(20863)评论(14)

本文旨在介绍CoNLL格式的中文依存语料库(汉语依存树库)、CoNLL格式相关工具,以及提供两个公开的中文依存语料库下载。 最近做完了分词、词性标注、命名实体识别、关键词提取、自动摘要、拼音、简繁转换、文本推荐,感觉HanLP初具雏形。现在...

词性标注
中文分词

词性标注

阅读(43600)评论(51)

词性标注(Part-of-Speech tagging 或POS tagging),又称词类标注或者简称标注,是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或其他词性的过程。在汉语中,词性标注比较简单...

层叠HMM-Viterbi角色标注模型下的机构名识别
命名实体识别

层叠HMM-Viterbi角色标注模型下的机构名识别

阅读(14564)评论(25)

命名实体识别中最难的部分当属实体机构名了,这是因为机构名的组成成分十分复杂,可以是人名、地名、序数词、企业字号甚至是上级机构名。本文介绍一种基于角色标注的层叠HMM模型下中文机构名识别方法。目前代码已整合到HanLP中,即将开源。 开源项目...

实战HMM-Viterbi角色标注地名识别
命名实体识别

实战HMM-Viterbi角色标注地名识别

阅读(17071)评论(17)

命名实体识别(Named Entity Recognition)也是自然语言处理中的一个难关,特别是中文这样没有大小写等固定形态的语言。上次介绍过《实战HMM-Viterbi角色标注中国人名识别》,这次基于类似的原理,为HanLP实现中文地...

我的作品

HanLP自然语言处理包《自然语言处理入门》