2017年06月的文章

2017-06-08阅读(6112)评论(1)

词向量本身无法解决一词多义的问题，比如： 这里的tie可能表示球赛的平局，也可能表示领带，还可能表示绳子打结。那它的词向量究竟在哪里呢？ 虽然相似的词被映射到邻近的位置，但该论文证明词向量是所有义项的平均： 它被映射到这些词语的中央，这有什...

2017-06-07阅读(15659)评论(25)

如何表示一个词语的意思 先来看看如何定义“意思”的意思，英文中meaning代表人或文字想要表达的idea。这是个递归的定义，估计查询idea词典会用meaning去解释它。 中文中“意思”的意思更加有意思： 他说：“她这个人真有意思（fu...

2017-06-07阅读(9889)评论(7)

这门课会不定期地让TA介绍一些课程相关的最前沿研究，与课程进度并非流畅衔接，所以单独做笔记。这次是第二节课中场休息时，由Danqi Chen带来的五分钟小讲座： 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思，但自然语...

2017-06-06阅读(22490)评论(24)

这是斯坦福CS224n的第一篇笔记，也是第一次系统地学习用深度学习来做自然语言处理。本文还整理了CS224n的全部视频课件笔记，汇总下载。 虽然深度学习已经席卷各大应用领域，大量开源工具让谁都能跳过理论基础速成demo专家。我却一直按部就班...

2017-06-05阅读(6224)评论(0)

Neural Networks for Machine Learning最后一课。 学习图像和标题的联合模型 这节课介绍最近一种利用图片标题和图片像素的特征向量训练联合模型的技术。这两种输入之间应当有联系，并将辅助图片检索。末尾展示一段输入...

2017-06-04阅读(8474)评论(0)

虽然是倒数第二课，但只要前面的认真听了，这节课就会觉得相当简单。 从主成分分析到自动编码器 先复习一下PCA，这是一种找出高维数据附近的linear manifold，用这上面的映射来表示数据本身的方法。linear manifold定义如...

2017-06-03阅读(6159)评论(3)

最后一次练习先实现RBM的CD1训练，然后将其作为前馈网络预训练的最底层用于识别USPS手写数字。所有代码开源在：https://github.com/hankcs/coursera-neural-net 。 编程之前 有些约定需...

2017-06-02阅读(9337)评论(1)

这节课介绍另一种训练sigmoid belief net的方法，这种方法的发明可谓无心插柳。Hinton放弃了sigmoid belief net之后又回到了玻尔兹曼机的研究，发现RBM的训练很高效。RBM可以学习一层非线性的特征，如果层叠...