标签：CRF

2016-08-22阅读(14342)评论(10)

本文按照调用顺序抽丝剥茧地分析了CRF++的代码，详细注释了主要函数，并指出了代码与理论公式的对应关系。内容包括拟牛顿法的目标函数、梯度、L2正则化、L-BFGS优化、概率图构建、前向后向算法、维特比算法等。 背景知识请参考《条件随机场》。...

2016-08-22阅读(17743)评论(2)

本文是《统计学习方法》第11章的笔记，在课本的基础上加入了自己的注释和理解。作为CRF的入门读物，著名的几篇英文教程难度稍高，还是李航博士的《方法》比较适合初学者。其拟牛顿法讲解可以直接与CRF++的代码对应，实为难得。我还单独写了篇《CR...

2016-08-12阅读(22304)评论(1)

译自《Numerical Optimization: Understanding L-BFGS》，本来只想作为学习CRF的补充材料，读完后发现收获很多，把许多以前零散的知识点都串起来了。对我而言，的确比零散地看论文要轻松得多。原文并没有太多...

2015-03-27阅读(64817)

中文分词≠自然语言处理！ 中文分词只是第一步；HanLP从中文分词开始，覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务，提供了丰富的API。 不同于一些简陋的分词类库，HanLP精心优化了内部数据结构和IO接口，做到了毫秒级的冷启...

2014-12-12阅读(12902)评论(8)

这是一个基于CRF的中文依存句法分析器，内部CRF模型的特征函数采用 双数组Trie树(DoubleArrayTrie)储存，解码采用特化的维特比后向算法。相较于《最大熵依存句法分析器的实现》，分析速度翻了一倍，达到了1262.8...

2014-12-10阅读(18870)评论(20)

与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用 双数组Trie树(Double...

2014-12-09阅读(26039)评论(52)

通过追加-t, –textmodel参数可以输出文本格式的CRF模型文件，通过该模型文本，可以加深对条件随机场的理解或为其他应用所利用。本文旨在介绍CRF++的文本模型格式，具体读取与解码将集成到HanLP中一并开源。 训练 语...