放牧代码和思想
专注自然语言处理、机器学习算法

标签:CNN

CS224n笔记13 卷积神经网络
自然语言处理

CS224n笔记13 卷积神经网络

hankcs阅读(297)评论(9)

补充了NLP中相对冷门的CNN,谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词,就算是bi-RNN,也不过是双向重蹈覆辙而已。 经常把过多注意力放到最后一个单词上。 比如,如果只想得到my birth的...

随机梯度下降与卷积神经网络
机器学习

随机梯度下降与卷积神经网络

hankcs阅读(840)评论(4)

斯坦福UFLDL中CNN剩下两章的笔记,辅以两次编程练习,至此完成了CNN的学习。 梯度下降概述 诸如L-BFGS之类的批优化方法每次更新都使用整个训练集,能够收敛到局部最优。因为要设置的超参数很少,所以很好用,matlab里也有许多类似m...

使用卷积进行特征提取
机器学习

使用卷积进行特征提取

hankcs阅读(590)评论(0)

这是关于斯坦福大学的UFLDL(Unsupervised Feature Learning and Deep Learning)中CNN一章的笔记,用来补足Hinton神经网络公开课略过的部分。 概览 前几次练习解决了处理低分辨率图片的问题...

理解深度学习中的卷积
机器学习

理解深度学习中的卷积

hankcs阅读(1779)评论(8)

译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的好,却都没有讲什么是“卷积”,似乎默认所有读者都有相关基础。这篇外文既友好又深入...

Hinton神经网络公开课5 Object recognition with neural nets
机器学习

Hinton神经网络公开课5 Object recognition with neural nets

hankcs阅读(524)评论(0)

这节课蜻蜓点水地讲了图像识别和卷积神经网络,老爷子讲得实在很简略。所以这节课不能当作CNN的入门资料,如果感觉任何地方不清楚,不要沮丧,因为根本没讲。 图像识别的难处 为什么最新的技术只能做到十几二十几的error rate呢,因为图像识别...

谷歌深度学习公开课任务 4: 卷积模型
机器学习

谷歌深度学习公开课任务 4: 卷积模型

hankcs阅读(945)评论(0)

课上浅显地介绍了卷积网络,以及配套的常用技巧。速成嘛,没深入探讨原理。编程任务直接给出了实现,要求也只是在其基础上做些小改进,过过干瘾。 任务 4: 卷积模型 设计并训练一个卷积神经网络。 前两次任务中,我们实现了较深的全连接多层神经网络,...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机