码农场

2016-09-12阅读(7810)评论(0)

最近高产似母猪，写了个基于AP的中文分词器，在Bakeoff-05的MSR语料上F值有96.11%。最重要的是，只训练了5个迭代；包含语料加载等IO操作在内，整个训练一共才花费23秒。应用裁剪算法去掉模型中80%的特征后，F值才下降不到0....

2016-09-04阅读(8908)评论(2)

译自Matthew的《A Good Part-of-Speech Tagger in about 200 Lines of Python》，本文用最精简的代码演示了如何写一个基于感知机的高性能词性标注器。以下是正文： 自然语言处理的最新技术...

2016-08-31阅读(7332)评论(1)

谈起简繁转换，许多人以为是小意思，按字转换就行了。事实上，汉语历史悠久，地域复杂，发展至今在字符级别存在“一简对多繁”和“一繁对多简”，在词语级别上存在“简繁分歧词”，在港澳台等地则存在“字词习惯不同”的情况。为此，HanLP新增了“简体”...

2016-08-22阅读(13954)评论(10)

本文按照调用顺序抽丝剥茧地分析了CRF++的代码，详细注释了主要函数，并指出了代码与理论公式的对应关系。内容包括拟牛顿法的目标函数、梯度、L2正则化、L-BFGS优化、概率图构建、前向后向算法、维特比算法等。 背景知识请参考《条件随机场》。...

2016-08-22阅读(17282)评论(2)

本文是《统计学习方法》第11章的笔记，在课本的基础上加入了自己的注释和理解。作为CRF的入门读物，著名的几篇英文教程难度稍高，还是李航博士的《方法》比较适合初学者。其拟牛顿法讲解可以直接与CRF++的代码对应，实为难得。我还单独写了篇《CR...

2016-08-13阅读(8167)评论(0)

译自哈佛大学《Computing Log-Sum-Exp》。在许多ML库中，经常看到这类函数，如scipy中的misc.logsumexp、CRF++中的CRFPP::logsumexp，其意义何在？ 这篇文章旨在讲解这个必学，却没有任何M...

2016-08-12阅读(20952)评论(1)

译自《Numerical Optimization: Understanding L-BFGS》，本来只想作为学习CRF的补充材料，读完后发现收获很多，把许多以前零散的知识点都串起来了。对我而言，的确比零散地看论文要轻松得多。原文并没有太多...

2016-08-09阅读(3426)评论(1)

Codeforces 138D World of Darkraft  暗黑世界：H*W的棋盘中每个点都是L、R、X三者之一，两人轮流选一个点，若为L则向左下和右上发射激光，R向右下和左上发射，X则相当于LR的组合——同时向四个方向...

2016-08-08阅读(13365)评论(3)

本文是《统计学习方法》第10章的笔记，用一段167行的Python代码实现了隐马模型观测序列的生成、前向后向算法、Baum-Welch无监督训练、维特比算法。公式与代码相互对照，循序渐进。 HMM算是个特别常见的模型，早在我没有挖ML这个坑...

2016-07-21阅读(30960)评论(56)

本文摘录整编了一些理论介绍，推导了word2vec中的数学原理；并考察了一些常见的word2vec实现，评测其准确率等性能，最后分析了word2vec原版C代码；针对没有好用的Java实现的现状，移植了原版C程序到Java。时间和水平有限，...