hankcs的文章

2017-06-06阅读(22783)评论(24)

这是斯坦福CS224n的第一篇笔记，也是第一次系统地学习用深度学习来做自然语言处理。本文还整理了CS224n的全部视频课件笔记，汇总下载。 虽然深度学习已经席卷各大应用领域，大量开源工具让谁都能跳过理论基础速成demo专家。我却一直按部就班...

2017-06-05阅读(6338)评论(0)

Neural Networks for Machine Learning最后一课。 学习图像和标题的联合模型 这节课介绍最近一种利用图片标题和图片像素的特征向量训练联合模型的技术。这两种输入之间应当有联系，并将辅助图片检索。末尾展示一段输入...

2017-06-04阅读(8629)评论(0)

虽然是倒数第二课，但只要前面的认真听了，这节课就会觉得相当简单。 从主成分分析到自动编码器 先复习一下PCA，这是一种找出高维数据附近的linear manifold，用这上面的映射来表示数据本身的方法。linear manifold定义如...

2017-06-03阅读(6233)评论(3)

最后一次练习先实现RBM的CD1训练，然后将其作为前馈网络预训练的最底层用于识别USPS手写数字。所有代码开源在：https://github.com/hankcs/coursera-neural-net 。 编程之前 有些约定需...

2017-06-02阅读(9476)评论(1)

这节课介绍另一种训练sigmoid belief net的方法，这种方法的发明可谓无心插柳。Hinton放弃了sigmoid belief net之后又回到了玻尔兹曼机的研究，发现RBM的训练很高效。RBM可以学习一层非线性的特征，如果层叠...

2017-05-31阅读(8794)评论(0)

这次课比较轻松，先回顾反向传播的历史，探讨其在90年代遭到冷落的原因。然后过渡到概率图模型，讲了Deep Belief Net及其与RBM的异同、训练算法等。 反向传播简史 这个著名的算法在70和80年代被重复发明多次： Bryson &a...

2017-05-29阅读(10570)评论(0)

终于到了玻尔兹曼机的训练了，这种简单的模型拥有优雅的理论基础，训练起来却又慢又差，曾一度被认为不实用。这节课讲解几种高效的学习算法，以及RBM应用到协同过滤的例子。 学习目标 这是种无监督学习，只有输入向量的参与。我们想要最大化训练集中的二...

2017-05-28阅读(10341)评论(1)

这节课介绍Hopfield Nets，这是80年代神经网络复兴的主要原因之一。这种简单优美的模型将记忆储存为激活值中的模式。然后介绍带有随机隐藏单元的Stochastic Hopfield nets（即玻尔兹曼机），及其搜索算法，为下节课的...

2017-05-26阅读(5810)评论(0)

这节课讲了为什么要综合多个模型，好处与原理、具体做法等。讲解了贝叶斯学习中的神经网络模型混合、马尔科夫蒙特卡洛方法，以及从新角度阐释更高效的Dropout。 综合网络：偏置方差均衡 训练数据少，容易过拟合。综合多个模型可以防止过拟合，特别是...

2017-05-25阅读(3462)评论(0)

这次练习在USPS手写邮政编码数据集上训练识别模型，重点是训练神经网络时的各种调参技巧。 数据集 数据全集有11000张图片，其中1000作为训练集，1000作为验证集，9000作为测试集（训练集与测试集的比例不同寻常，很容易过拟合，富有挑...