2015-11-21阅读(10055)评论(8)

本文是《统计学习方法》第七章《支持向量机》的笔记，附带了少量注解和背景知识的补充；后半部分将《机器学习实战》支持向量机的Python代码加以整理注释，与公式放到一起形成对照，辅助理解。私以为，没有泛函分析基础的人是无法深刻理解支持向量机的，...

2015-11-08阅读(15643)评论(34)

我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推...

2015-10-11阅读(9850)评论(5)

在看《统计学习方法》支持向量机一章的时候，看到“应用拉格朗日对偶性（参阅附录C），通过求解对偶问题得到原始问题的最优解”一句，于是往下递归学习了一下附录C的拉格朗日对偶性。名曰学习，实则是摘抄，加入了少量个人理解与背景补充。毕竟定理和推论看...

2015-10-03阅读(9520)评论(8)

本文希望通过《统计学习方法》 第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并制作了可视化动画。针对最大熵，提供一份简明的GIS最优化算法实现，并注解了一个IIS最...

2015-02-18阅读(12279)评论(8)

   “何以别离久，何以少团栾。” 本文对应《统计学习方法》 第5章，用Python实现了决策树的ID3生成算法和C4.5生成算法，并用matplotlib可视化出来。 决策树模型与学习 决策树模型 分类决策树模型是一种...

2015-02-09阅读(10439)评论(17)

本文是《统计学习方法》第4章的笔记，用图形补充说明了条件概率分布计算时可能引发的维数灾难，在文末用Python实现了一个基于贝叶斯文本分类器的简单情感极性分析器，可以分析中文句子的情感极性。 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的...

2015-02-06阅读(9987)评论(13)

“一切只贴公式不写代码的博客都是在耍流氓”——图灵·佳德méiyǒu shuōguò。本文对应《统计学习方法》第3章，用数十行代码实现KNN的kd树构建与搜索算法，并用matplotlib可视化了动画观赏。 k近邻算法 给定一个训练数据集，...

2015-02-05阅读(14272)评论(16)

《统计学习方法》系列笔记的第一篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来，应该算是很硬派了。一套干货下来，很是辛苦，要是能坚持下去就好。 概念 感知机是二...

2015-02-04阅读(20922)评论(41)

继NLP之后，我又开了ML这个大坑。这是因为NLP涉及到太多的ML模型，仅仅拿过来用的话，我实现的HanLP已经快到个人极限了。而模型背后的原理、如何优化、如何并行化等问题，都需要寻根求源才能解决。 所以我找了个书单自学，电子书为主，顺便分...

2015-01-31阅读(10832)评论(10)

ML可视化学习  最近在学习一些基础的ML算法，比起枯燥的公式，我更喜欢写Python实现，再通过Matplotlib这个强大的作图库可视化出来。比如最简单的感知机梯度下降算法，给定数据集，用不同的颜色和形状，可以很方便地画出来：...