放牧代码和思想
专注自然语言处理、机器学习算法
    愛しさ 優しさ すべて投げ出してもいい

机器学习

简单有效的位置编码

简单有效的位置编码

阅读(401)评论(0)

去年流行了一阵相对位置编码,各种巧夺天工的设计层出不穷,各有各的数学解释。然而谷歌这篇文章指出,相对位置并不优于绝对位置。之所以看上去更优是因为位置信息被加到了每一层注意力矩阵上,增大了矩阵的秩。其实我当时看这些论文的时候就很疑惑,这些论文...

梯度下降与海森矩阵

梯度下降与海森矩阵

阅读(4061)评论(2)

理一理基础优化理论,解释一下深度学习中的一阶梯度下降遇到的病态曲率(pathological curvature)问题。当海森矩阵condition number很大时,一阶梯度下降收敛很慢,无论是对鞍点还是局部极值点而言都不是个好事。 鞍...

Structural Learning with Amortized Inference

Structural Learning with Amortized Inference

阅读(5766)评论(0)

Chang et al. 2015提出加速结构化学习的近似算法AI-DCD,通过缓存整数线性规划中相似的问题及解,减少对ILP solver的调用次数,从而加速训练,同时不损失精度。 平摊推断 记$\mathbf{y}=\{y_1,y_2,...

从源码编译安装TensorFlow

从源码编译安装TensorFlow

阅读(7562)评论(4)

普通安装方法是pip官方的包,但这种大街货往往没有针对本地环境做优化。比如调用时会警告说你的机器支持一些可加速运算的指令,但编译时没有启用,让你心痒难耐。 2017-06-26 10:34:11.820609: W&nb...

Hinton神经网络公开课13 Stacking RBMs to make Deep Belief Nets

Hinton神经网络公开课13 Stacking RBMs to make Deep Belief Nets

阅读(6494)评论(0)

这次课比较轻松,先回顾反向传播的历史,探讨其在90年代遭到冷落的原因。然后过渡到概率图模型,讲了Deep Belief Net及其与RBM的异同、训练算法等。 反向传播简史 这个著名的算法在70和80年代被重复发明多次: Bryson &a...

Hinton神经网络公开课12 Restricted Boltzmann machines (RBMs)

Hinton神经网络公开课12 Restricted Boltzmann machines (RBMs)

阅读(8088)评论(0)

终于到了玻尔兹曼机的训练了,这种简单的模型拥有优雅的理论基础,训练起来却又慢又差,曾一度被认为不实用。这节课讲解几种高效的学习算法,以及RBM应用到协同过滤的例子。 学习目标 这是种无监督学习,只有输入向量的参与。我们想要最大化训练集中的二...

我的作品

HanLP自然语言处理包《自然语言处理入门》