CS224n笔记6 句法分析
句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向。 语言学的两种观点 如何描述语法,有两种主流观点,其中一种是短语结构文法,英文术语是:Constituency = phrase structure gra...
句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向。 语言学的两种观点 如何描述语法,有两种主流观点,其中一种是短语结构文法,英文术语是:Constituency = phrase structure gra...
主讲人是一位发音特别纯正的印度小哥,只有微量口音。这篇论文挑战了对神经网络的迷信,展示了传统模型的生命力以及调参的重要性。 词语表示方法 以前的课程中讲过两大类得到dense词语表示的方法,一般认为NN模型更好: 这里的PPMI也是一种利用...
最后一次数学课,其实都是些很基础的推导而已。从四个不同的层面讲解反向传播,其中电路和有向图类比还是很直观新颖的解释。 任意层的通用公式 第$l$层的残差: $$\delta^{(l)} = (W^{(l)T} \delta^{(l+1)})...
Facebook的fastText 文本分类是NLP中常见的任务,比如情感分析: 词袋模型 虽然词袋模型只是所有词向量的某种平均,但其维度可以做到很低: 为了抵抗词序丢失带来的语义丢失问题,可以用ngram特征来代替。 简单的线...
这节课介绍了根据上下文预测单词分类的问题,与常见神经网络课程套路不同,以间隔最大化为目标函数,推导了对权值矩阵和词向量的梯度;初步展示了与传统机器学习方法不一样的风格。 分类问题 给定训练集$$\{x^{(i)},y^{(i)}\}_1^N...
这节课从传统的基于计数的全局方法出发,过渡到结合两者优势的GloVe,并介绍了词向量的调参与评测方法。 复习:word2vec的主要思路 遍历整个语料库中的每个词 预测每个词的上下文: 然后在每个窗口中计算梯度做SGD SGD与词向量 但每...
词向量本身无法解决一词多义的问题,比如: 这里的tie可能表示球赛的平局,也可能表示领带,还可能表示绳子打结。那它的词向量究竟在哪里呢? 虽然相似的词被映射到邻近的位置,但该论文证明词向量是所有义项的平均: 它被映射到这些词语的中央,这有什...
如何表示一个词语的意思 先来看看如何定义“意思”的意思,英文中meaning代表人或文字想要表达的idea。这是个递归的定义,估计查询idea词典会用meaning去解释它。 中文中“意思”的意思更加有意思: 他说:“她这个人真有意思(fu...
这门课会不定期地让TA介绍一些课程相关的最前沿研究,与课程进度并非流畅衔接,所以单独做笔记。这次是第二节课中场休息时,由Danqi Chen带来的五分钟小讲座: 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思,但自然语...
这是斯坦福CS224n的第一篇笔记,也是第一次系统地学习用深度学习来做自然语言处理。本文还整理了CS224n的全部视频课件笔记,汇总下载。 虽然深度学习已经席卷各大应用领域,大量开源工具让谁都能跳过理论基础速成demo专家。我却一直按部就班...