放牧代码和思想
专注自然语言处理、机器学习算法
    正处于一个非常忙的阶段,抱歉不会经常回应任何联络

2017年03月的文章

随机梯度下降与卷积神经网络
机器学习

随机梯度下降与卷积神经网络

hankcs阅读(576)评论(4)

斯坦福UFLDL中CNN剩下两章的笔记,辅以两次编程练习,至此完成了CNN的学习。 梯度下降概述 诸如L-BFGS之类的批优化方法每次更新都使用整个训练集,能够收敛到局部最优。因为要设置的超参数很少,所以很好用,matlab里也有许多类似m...

使用卷积进行特征提取
机器学习

使用卷积进行特征提取

hankcs阅读(437)评论(0)

这是关于斯坦福大学的UFLDL(Unsupervised Feature Learning and Deep Learning)中CNN一章的笔记,用来补足Hinton神经网络公开课略过的部分。 概览 前几次练习解决了处理低分辨率图片的问题...

让Python不在mac的dock上显示火箭图标
Python

让Python不在mac的dock上显示火箭图标

hankcs阅读(160)评论(0)

一些使用了matplotlib的脚本在启动的时候就会在dock上显示一个小火箭: 如果脚本在执行很耗时的操作,比如训练,则UI长期得不到响应,这个小火箭就会一直瞎蹦跶,怪讨厌的。解决方法有两个: 配置文件解决 vi /path/t...

理解深度学习中的卷积
机器学习

理解深度学习中的卷积

hankcs阅读(1410)评论(8)

译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的好,却都没有讲什么是“卷积”,似乎默认所有读者都有相关基础。这篇外文既友好又深入...

Hinton神经网络公开课5 Object recognition with neural nets
机器学习

Hinton神经网络公开课5 Object recognition with neural nets

hankcs阅读(408)评论(0)

这节课蜻蜓点水地讲了图像识别和卷积神经网络,老爷子讲得实在很简略。所以这节课不能当作CNN的入门资料,如果感觉任何地方不清楚,不要沮丧,因为根本没讲。 图像识别的难处 为什么最新的技术只能做到十几二十几的error rate呢,因为图像识别...

Hinton神经网络公开课4 Learning feature vectors for words
机器学习

Hinton神经网络公开课4 Learning feature vectors for words

hankcs阅读(405)评论(2)

词的向量表示 关系信息的特征表示 引子很新奇,是一张英国人的家谱和一张结构相似的意大利人的家谱: 这是一种关系信息,比如甲的父亲是乙,=表示夫妻。神经网络可以通过反向传播学习这些关系对,将关系信息转为特征向量。最终的效果是,提问“乙的儿子是...

Hinton神经网络公开课3 The backpropagation learning proccedure
机器学习

Hinton神经网络公开课3 The backpropagation learning proccedure

hankcs阅读(352)评论(0)

虽然反向传播很简单,但老爷子讲的更本质。另外线性回归→逻辑斯谛回归→反向传播神经网络是很多课程的必经之路。 为什么感知机算法不能用于训练隐藏层  其实前面一次课简单地提了下,说是线性隐藏层构成的模型依然是线性的。这节课展开了讲,感...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机