放牧代码和思想
专注自然语言处理、机器学习算法
    Why join the Navy if you can be a pirate?

机器学习

第4页
提升方法

提升方法

hankcs阅读(691)评论(1)

本文是《统计学习方法》第8章提升方法的笔记,整合了《机器学习实战》中的提升树Python代码,并添加了注解和PR值计算代码。《方法》重理论,但不易理解,《实战》重实践,但缺乏理论基础,特别是AdaBoost算法的解释、提升树与加法模型的关系...

libsvm使用说明

libsvm使用说明

hankcs阅读(1240)评论(1)

本文记录了libsvm的使用方法、参数说明、数据格式、模型格式,并且对数据标准化和自动寻参等,做了整理。对libsvm的Java代码,整理成了Maven结构,注释了主要接口。本来准备完整地将libsvm源码剖析一遍的,后来太忙顾不上了,连这...

支持向量机

支持向量机

hankcs阅读(1428)评论(4)

本文是《统计学习方法》第七章《支持向量机》的笔记,附带了少量注解和背景知识的补充;后半部分将《机器学习实战》支持向量机的Python代码加以整理注释,与公式放到一起形成对照,辅助理解。私以为,没有泛函分析基础的人是无法深刻理解支持向量机的,...

反向传播神经网络极简入门

反向传播神经网络极简入门

hankcs阅读(2592)评论(25)

我一直在找一份简明的神经网络入门,然而在中文圈里并没有找到。直到我看到了这份162行的Python实现,以及对应的油管视频之后,我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰,也不需要赘述神经网络的发展历史;要推...

拉格朗日对偶性

拉格朗日对偶性

hankcs阅读(1292)评论(4)

在看《统计学习方法》支持向量机一章的时候,看到“应用拉格朗日对偶性(参阅附录C),通过求解对偶问题得到原始问题的最优解”一句,于是往下递归学习了一下附录C的拉格朗日对偶性。名曰学习,实则是摘抄,加入了少量个人理解与背景补充。毕竟定理和推论看...

逻辑斯谛回归与最大熵模型

逻辑斯谛回归与最大熵模型

hankcs阅读(1638)评论(3)

本文希望通过《统计学习方法》 第六章的学习,由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法,并制作了可视化动画。针对最大熵,提供一份简明的GIS最优化算法实现,并注解了一个IIS最...

决策树

决策树

hankcs阅读(4207)评论(3)

   “何以别离久,何以少团栾。” 本文对应《统计学习方法》 第5章,用Python实现了决策树的ID3生成算法和C4.5生成算法,并用matplotlib可视化出来。 决策树模型与学习 决策树模型 分类决策树模型是一种...

朴素贝叶斯法

朴素贝叶斯法

hankcs阅读(3205)评论(8)

本文是《统计学习方法》第4章的笔记,用图形补充说明了条件概率分布计算时可能引发的维数灾难,在文末用Python实现了一个基于贝叶斯文本分类器的简单情感极性分析器,可以分析中文句子的情感极性。 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的...

k近邻法

k近邻法

hankcs阅读(2696)评论(11)

“一切只贴公式不写代码的博客都是在耍流氓”——图灵·佳德méiyǒu shuōguò。本文对应《统计学习方法》第3章,用数十行代码实现KNN的kd树构建与搜索算法,并用matplotlib可视化了动画观赏。 k近邻算法 给定一个训练数据集,...

感知机

感知机

hankcs阅读(3628)评论(6)

《统计学习方法》系列笔记的第一篇,对应原著第二章。大量引用原著讲解,加入了自己的理解。对书中算法采用Python实现,并用Matplotlib可视化了动画出来,应该算是很硬派了。一套干货下来,很是辛苦,要是能坚持下去就好。 概念 感知机是二...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机