放牧代码和思想
专注自然语言处理、机器学习算法
    时间有限,只有GitHub上的issue能及时处理。另外,不要叫我楼主,谢谢。

机器学习

第2页
CS229编程5:正则化线性回归与偏差方差权衡

CS229编程5:正则化线性回归与偏差方差权衡

hankcs阅读(151)评论(0)

斯坦福ML(Matlab)公开课,本次练习将实现正则化线性回归、多项式回归,并且在不同的参数下拟合数据、绘制学习曲线。 正则化线性回归 利用水库水位预测流量。 可视化数据集 数据集被拆分为3部分: 训练集 交叉验证集,用来决定正则化参数 测...

CS229编程4:训练神经网络

CS229编程4:训练神经网络

hankcs阅读(178)评论(0)

斯坦福ML(Matlab)公开课,实现上次遗留的反向传播算法,并应用于手写数字识别,这次的看点是隐藏层的可视化,以及随机初始化参数的一些讲究。 简介 神经网络 上次实现了前向传播,但模型参数是别人给的。这次实现学习参数反向传播算法。 前向传...

CS229编程3:多分类和神经网络

CS229编程3:多分类和神经网络

hankcs阅读(197)评论(0)

斯坦福ML(Matlab)公开课,这次主题是一些图像处理的基础知识。 简介 分别实现one-vs-all逻辑斯谛回归和神经网络,用来识别手写数字。其中逻辑斯谛回归是在上次练习的基础上拓展到多分类,神经网络不要求实现训练,仅要求实现前向传播然...

CS229编程2:逻辑斯谛回归

CS229编程2:逻辑斯谛回归

hankcs阅读(180)评论(0)

斯坦福cs229 MATLAB公开课,简称ML公开课。这是第二次编程练习,本次重点是无约束非线性规划函数fminunc的用法,以及一些作图的技巧。 简介  实现逻辑斯谛回归,并应用到给定的两个数据集上。 逻辑斯谛回归  ...

CS229编程1:线性回归

CS229编程1:线性回归

hankcs阅读(268)评论(2)

看完《统计学习方法》后,最近以将近一天一课速度把斯坦福的机器学习公开课看了大半。速度很快但感觉没有《方法》扎实,应该是没有足够的实践所致。正巧最近也在学Matlab,于是把课后的编程练习过一遍,一举两得。 目标 作为CS229的第一次编程练...

序列标注模型算法比较

序列标注模型算法比较

hankcs阅读(592)评论(6)

偶然浏览到一篇挺有实际参考价值的论文Nguyen and Guo(2007)。该文比较了一些模型和算法在词性标注和OCR任务上的性能,包括HMM、CRF、AP、Structured SVM、M3N、SEARN算法以及SLE算法,对算法选型很...

CRF++代码分析

CRF++代码分析

hankcs阅读(1186)评论(8)

本文按照调用顺序抽丝剥茧地分析了CRF++的代码,详细注释了主要函数,并指出了代码与理论公式的对应关系。内容包括拟牛顿法的目标函数、梯度、L2正则化、L-BFGS优化、概率图构建、前向后向算法、维特比算法等。 背景知识请参考《条件随机场》。...

条件随机场

条件随机场

hankcs阅读(838)评论(0)

本文是《统计学习方法》第11章的笔记,在课本的基础上加入了自己的注释和理解。作为CRF的入门读物,著名的几篇英文教程难度稍高,还是李航博士的《方法》比较适合初学者。其拟牛顿法讲解可以直接与CRF++的代码对应,实为难得。我还单独写了篇《CR...

计算指数函数的和的对数

计算指数函数的和的对数

hankcs阅读(379)评论(0)

译自哈佛大学《Computing Log-Sum-Exp》。在许多ML库中,经常看到这类函数,如scipy中的misc.logsumexp、CRF++中的CRFPP::logsumexp,其意义何在? 这篇文章旨在讲解这个必学,却没有任何M...

数值优化:理解L-BFGS算法

数值优化:理解L-BFGS算法

hankcs阅读(495)评论(0)

译自《Numerical Optimization: Understanding L-BFGS》,本来只想作为学习CRF的补充材料,读完后发现收获很多,把许多以前零散的知识点都串起来了。对我而言,的确比零散地看论文要轻松得多。原文并没有太多...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机