放牧代码和思想
专注自然语言处理、机器学习算法
    恕不接待索要源码语料者、索求技术方案者、以及不Google的懒人。

机器学习

Hinton神经网络公开课12 Restricted Boltzmann machines (RBMs)

Hinton神经网络公开课12 Restricted Boltzmann machines (RBMs)

hankcs阅读(6)评论(0)

终于到了玻尔兹曼机的训练了,这种简单的模型拥有优雅的理论基础,训练起来却又慢又差,曾一度被认为不实用。这节课讲解几种高效的学习算法,以及RBM应用到协同过滤的例子。 学习目标 这是种非监督学习,只有输入向量的参与。我们想要最大化训练集中的二...

Hinton神经网络公开课11 Hopfield nets and Boltzmann machines

Hinton神经网络公开课11 Hopfield nets and Boltzmann machines

hankcs阅读(23)评论(0)

这节课介绍Hopfield Nets,这是80年代神经网络复兴的主要原因之一。这种简单优美的模型将记忆储存为激活值中的模式。然后介绍带有随机隐藏单元的Stochastic Hopfield nets(即玻尔兹曼机),及其搜索算法,为下节课的...

Hinton神经网络公开课编程练习3 Optimization and generalization

Hinton神经网络公开课编程练习3 Optimization and generalization

hankcs阅读(23)评论(0)

这次练习在USPS手写邮政编码数据集上训练识别模型,重点是训练神经网络时的各种调参技巧。 数据集 数据全集有11000张图片,其中1000作为训练集,1000作为验证集,9000作为测试集(训练集与测试集的比例不同寻常,很容易过拟合,富有挑...

Hinton神经网络公开课9 Ways to make neural networks generalize better

Hinton神经网络公开课9 Ways to make neural networks generalize better

hankcs阅读(25)评论(0)

这节课介绍防止模型过拟合的各种方法,给出了正则化项、惩罚因子的贝叶斯解读;并展示了基于贝叶斯解读的一种实践有效的惩罚因子调参方法。 复习:过拟合 训练数据中不光有正确的规律,而且还有偶然的规律(采样误差,只取决于训练实例的选择)。拟合模型的...

Hinton神经网络公开课8 More recurrent neural networks

Hinton神经网络公开课8 More recurrent neural networks

hankcs阅读(138)评论(2)

首先简要介绍Hessian-Free优化理论。这是块硬骨头,并不要求一定掌握。 在给定方向上的移动能够将误差降低多少 在训练神经网络的时候,我们想要在error surface上尽量多地下降。梯度有了之后,具体能够迈多大一步呢?以二次曲线为...

Hinton神经网络公开课7 Recurrent neural networks

Hinton神经网络公开课7 Recurrent neural networks

hankcs阅读(103)评论(0)

首先复习一下常见序列模型,包括BiGram、linear dynamic system和HMM。通过对简单模型的比较学习,加深对RNN的理解。 为序列建模 目的是将一个输入序列转化为一个输出序列,如机器翻译、语音识别。 当不区分输入和输出序...

随机梯度下降与卷积神经网络

随机梯度下降与卷积神经网络

hankcs阅读(418)评论(4)

斯坦福UFLDL中CNN剩下两章的笔记,辅以两次编程练习,至此完成了CNN的学习。 梯度下降概述 诸如L-BFGS之类的批优化方法每次更新都使用整个训练集,能够收敛到局部最优。因为要设置的超参数很少,所以很好用,matlab里也有许多类似m...

使用卷积进行特征提取

使用卷积进行特征提取

hankcs阅读(302)评论(0)

这是关于斯坦福大学的UFLDL(Unsupervised Feature Learning and Deep Learning)中CNN一章的笔记,用来补足Hinton神经网络公开课略过的部分。 概览 前几次练习解决了处理低分辨率图片的问题...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机