CS224n笔记13 卷积神经网络

补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。

从RNN到CNN

• RNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈覆辙而已。

• 经常把过多注意力放到最后一个单词上。

  

比如，如果只想得到my birth的向量，RNN就无能为力了，因为它捕捉的是从左到右的“上文”。

• 与此对应，softmax也是加在最后一个单词上的

CNN的解决思路说来也很简单粗暴，那就计算相邻的ngram，不管它到底是不是真正的短语，眉毛胡子一把抓地为它们计算向量。

什么是卷积

定义在两个矩阵上的函数，生成另一个矩阵（也许称作tensor会更好）。对一维矩阵（向量来讲），可以形式化地描述如下

$$(f*g)[n] = \sum\limits_{m=-M}^Mf[n-m]g[m]$$

这里$2M$是过滤器的大小。

在计算机视觉中，卷积可以提取诸如物体边缘之类的特征。一个很棒的可视化：

更多入门知识参考《理解深度学习中的卷积》。

单层CNN

假设词向量$x_i\in R^k$，那么$n$个单词的句子可视作词向量(列向量)的按列拼接$x_{1:n}=x_1\oplus x_2...\oplus x_n$。

对于$h$个单词上的卷积过滤器 $w\in R^{hk}$ ，比如$k=2$, $n=5$, $h=3$，下图演示了NLP中的单层CNN工作过程：

也就是说，每相邻3个词语的组合对应卷积结果中的一个标量。卷积过滤器的权值$w$也是一个向量，最终得到每个卷积结果 $c_i=f(w^Tx_{i:i|h-1}+b)$ ，组合得到向量$\textbf{c}=[c_1,c_2... c_{n-h+1}]\in R^{n-h+1}$。

对最后两个词语，由于不够长($h=3$)，常见的技巧是补零：

（这样得到的就不再是$R^{n-h+1}$的向量了

一个过滤器就是一个向量，卷积运算的子运算实际上就是与某个ngram的内积，内积代表相似性。于是卷积核实际上在挑选与自己相似的那种pattern，比如正面情感的ngram。

池化

卷积不是最终目的，最终目的是将卷积结果输入到其他网络中去。在不补零的情况下，卷积结果$\textbf{c}$中有$n-h+1$个数，与$n$有关；而我们想要一个定长的输入。一个解决办法是max-pooling，输入是CNN结果$\textbf{c}\in \mathbb{R}^{n-h-1}$，输出是一个标量$\hat{c}=max\{\textbf{c}\}$，其中$\hat{c}\in \mathbb{R}$。

当然也可以用min，不过ReLU时经常结果是0，所以没什么意义。max的意义是，这个过滤器就是要过滤出最强烈的那个ngram，作为整段话的中心意思。

为了得到多个卷积特征，简单地使用多个卷积核（不需要大小一致），然后把池化结果拼接起来。

另外，有一个关于词向量的技巧。如果任由梯度流入词向量，则词向量会根据分类任务目标而移动，丢失语义上泛化的相似性。解决办法是用两份相同的词向量，称作两个通道（channel）。一个通道可变，一个通道固定。将两个通道的卷积结果输入到max-pool中。

分类

最终$m$个卷积核输出的特征向量是：$\boldsymbol{z}=[\hat{c_1}, \cdots,\hat{c_m}]$

喂给最终的softmax层：$y=softmax(W^{(S)}z+b)$

图示

一个漂亮的图示：

双通道词向量=>多个卷积核得到的feature map（红色是bigram，橙色是trigram）=>池化得到最终特征=>softmax分类输出。

dropout

老生常谈了：$y=softmax(W^{(S)}(r \circ z)+b)$

$r$中的元素满足参数$p$的伯努利分布，最终特征向量相当于被缩放了：

$$\hat{W}^{(S)}=pW^{(S)}$$

也相当于在数据上采样子集训练模型，然后平均起来（ensemble），通常可以带来2-4%的效果提升。

直观的解释是，在情感分析任务中，并不一定要两个表示正面的ngram同时出现才能下结论，有时候只出现一个也可能足以说明问题。

这些训练trick都相当于给GD引入噪声，让其不再肯定地瞄准一个局部最优，而是尽可能地探索尽可能多的landscape。以前挺有希望的高斯过程调参也不流行了，人们觉得随机采样超参数空间就已经惊人地好用了。

一般模型里面的超参数非常多，就算给定一组超参数，多数情况下也无法复现结果。往好的方向解释是作者试验了很多次，终于碰巧撞上了更好的局部最优点，而我们都没撞上去。

试验结果

双通道不显著地带来了一点提升。这张对比表也暴露了深度学习学术界公开的“黑幕”，没有人把每个训练trick单独拎出来报告提升比；2014年之前几乎没人用Dropout，可最新发表的论文就是要跟它们比Dropout，却不愿把它们加入Dropout重新实现一遍（可能费时费力还不讨好吧，万一被baseline反杀不就完蛋啦）。事实上，这个结果只能说明Dropout比不Dropout有2-4%的提升，不能说明CNN多有效。

CNN花样

可以变换很多花样，比如每个feature map是变大了还是变小了，池化技巧等等。

CNN应用：机器翻译

第一个神经网络机器翻译模型吧，用CNN做encoder，RNN做decoder：

到这里就快下课了，Richard草草讲了几句。

模型比较

Bag of Vectors：对分类问题来讲非常棒的基线模型，接几层ReLU甚至可能打败CNN。

Window Model：对单个单词的分类来讲挺好，但不适用于需要更多上下文的任务。

CNN：适合分类，不清楚如何做短语级别的标注，对短文本需要padding，难以用NLP的视角解释，容易GPU并行化

RNN：从左读到右，最符合认知。不是分类任务的最佳选择，比CNN慢，但可以做序列标注。

Quasi-RNN

CNN和RNN的混血儿，在时序数据上做卷积：

比LSTM速度要快，效果要好：

 知识共享署名-非商业性使用-相同方式共享：码农场 » CS224n笔记13 卷积神经网络