标签：CS224n

2017-06-09阅读(8265)评论(0)

这节课介绍了根据上下文预测单词分类的问题，与常见神经网络课程套路不同，以间隔最大化为目标函数，推导了对权值矩阵和词向量的梯度；初步展示了与传统机器学习方法不一样的风格。 分类问题 给定训练集$$\{x^{(i)},y^{(i)}\}_1^N...

2017-06-08阅读(9178)评论(4)

这节课从传统的基于计数的全局方法出发，过渡到结合两者优势的GloVe，并介绍了词向量的调参与评测方法。 复习：word2vec的主要思路 遍历整个语料库中的每个词 预测每个词的上下文： 然后在每个窗口中计算梯度做SGD SGD与词向量 但每...

2017-06-08阅读(6227)评论(1)

词向量本身无法解决一词多义的问题，比如： 这里的tie可能表示球赛的平局，也可能表示领带，还可能表示绳子打结。那它的词向量究竟在哪里呢？ 虽然相似的词被映射到邻近的位置，但该论文证明词向量是所有义项的平均： 它被映射到这些词语的中央，这有什...

2017-06-07阅读(15946)评论(25)

如何表示一个词语的意思 先来看看如何定义“意思”的意思，英文中meaning代表人或文字想要表达的idea。这是个递归的定义，估计查询idea词典会用meaning去解释它。 中文中“意思”的意思更加有意思： 他说：“她这个人真有意思（fu...

2017-06-07阅读(10023)评论(7)

这门课会不定期地让TA介绍一些课程相关的最前沿研究，与课程进度并非流畅衔接，所以单独做笔记。这次是第二节课中场休息时，由Danqi Chen带来的五分钟小讲座： 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思，但自然语...

2017-06-06阅读(22813)评论(24)

这是斯坦福CS224n的第一篇笔记，也是第一次系统地学习用深度学习来做自然语言处理。本文还整理了CS224n的全部视频课件笔记，汇总下载。 虽然深度学习已经席卷各大应用领域，大量开源工具让谁都能跳过理论基础速成demo专家。我却一直按部就班...