放牧代码和思想
专注自然语言处理、机器学习算法
    Why join the Navy if you can be a pirate?

机器学习

第3页
Hinton神经网络公开课4 Learning feature vectors for words

Hinton神经网络公开课4 Learning feature vectors for words

hankcs阅读(1125)评论(2)

词的向量表示 关系信息的特征表示 引子很新奇,是一张英国人的家谱和一张结构相似的意大利人的家谱: 这是一种关系信息,比如甲的父亲是乙,=表示夫妻。神经网络可以通过反向传播学习这些关系对,将关系信息转为特征向量。最终的效果是,提问“乙的儿子是...

Hinton神经网络公开课编程练习1 The perceptron learning algorithm

Hinton神经网络公开课编程练习1 The perceptron learning algorithm

hankcs阅读(1392)评论(2)

这门课的编程练习很简单,大部分代码都给出了,只需要修改或添加一小部分。官方语言为matlab,但我更喜欢Python(讨厌jupyter)。但matlab保存动画更方便,所以决定双语字幕,左右开弓。 算法主框架 这次的主题是感知机算法及可视...

Hinton神经网络公开课3 The backpropagation learning proccedure

Hinton神经网络公开课3 The backpropagation learning proccedure

hankcs阅读(1091)评论(0)

虽然反向传播很简单,但老爷子讲的更本质。另外线性回归→逻辑斯谛回归→反向传播神经网络是很多课程的必经之路。 为什么感知机算法不能用于训练隐藏层  其实前面一次课简单地提了下,说是线性隐藏层构成的模型依然是线性的。这节课展开了讲,感...

谷歌深度学习公开课任务 6: LSTMs

谷歌深度学习公开课任务 6: LSTMs

hankcs阅读(2106)评论(1)

最后一次任务,至此速战速决解决了这门快餐课程。心得是作为一个“懒惰的工程师”,对常见的深度学习模型、技巧、应用有了浅显的了解。但对“好奇的求知者”来讲,则只能说看了一张模糊不清的缩略图,许多理论和细节得通过正式一些的课程去补充。 任务 6:...

谷歌深度学习公开课任务 5: Word2Vec&CBOW

谷歌深度学习公开课任务 5: Word2Vec&CBOW

hankcs阅读(2179)评论(2)

课上讲的太简略了,原理参考《word2vec原理推导与代码分析》。谷歌给的代码也很简陋,只有负采样,没有哈夫曼树。另外单机word2vec已经那么高效了,我质疑上TF的意义。 任务 5: Word2Vec&CBOW 这次的任务是在t...

谷歌深度学习公开课任务 4: 卷积模型

谷歌深度学习公开课任务 4: 卷积模型

hankcs阅读(1680)评论(0)

课上浅显地介绍了卷积网络,以及配套的常用技巧。速成嘛,没深入探讨原理。编程任务直接给出了实现,要求也只是在其基础上做些小改进,过过干瘾。 任务 4: 卷积模型 设计并训练一个卷积神经网络。 前两次任务中,我们实现了较深的全连接多层神经网络,...

谷歌深度学习公开课任务 3: 正则化

谷歌深度学习公开课任务 3: 正则化

hankcs阅读(1645)评论(0)

这次的看点是怎么在TensorFlow里实现正则化、dropout和学习率递减的技巧;顺便演示了下自动调参。 任务 3: 正则化 使用正则化去优化深度学习模型 题目1 给上次练习实现的逻辑斯谛回归和神经网络加上L2正则,检查性能提升。 逻辑...

谷歌深度学习公开课任务 2: SGD

谷歌深度学习公开课任务 2: SGD

hankcs阅读(2481)评论(1)

三言两语讲完了反向传播,一个公式也没有,果然是面向“懒惰工程师”的快餐教程。比较喜欢“不提神经元,我们不是巫婆”的观点。这次不需要自己写算法,直接上TensorFlow了。 任务 2: 随机梯度下降 使用梯度下降和随机梯度下降训练一个全连接...

谷歌深度学习公开课任务 1: notMNIST

谷歌深度学习公开课任务 1: notMNIST

hankcs阅读(2722)评论(3)

这是谷歌在优达学城上开的公开课,感觉就是TensorFlow的宣传片。肉眼观测难度较低,作为入门第一课快速过掉也许还行。课程概述中说: 我们将教授你如何训练和优化基本神经网络、卷积神经网络和长短期记忆网络。你将通过项目和任务接触完整的机器学...

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机