码农场

2017-06-28阅读(7245)评论(1)

从NMT的历史谈到现代，讲解了attention机制的动机、原理及最新的拓展。通过实例展示谷歌翻译的变化，直言不讳指出其过度炒作。Manning今天还换上了新MBP，挺潮的。 机器翻译 传统衡量机器对语言理解的测试之一 同时涉及到语言分析与...

2017-06-27阅读(4793)评论(1)

双语NMT 一般“瘦弱”的NMT系统只支持双语单向翻译，比如课上常见的这种： 如果想实现一个模型支持多语种互译怎么办呢？ 土办法 之前的尝试是使用多对encoder-decoder pair、一个encoder多个decoder、多个enc...

2017-06-27阅读(12128)评论(15)

先在TensorFlow上实现多项逻辑斯谛回归练练手，然后增加难度实现基于神经网络的转移依存句法分析，试验Xavier初始化、Dropout和Adam优化器。最后推导RNN和语言模型的困惑度、梯度、反向传播和复杂度。 Python代码开源在...

2017-06-26阅读(9196)评论(4)

普通安装方法是pip官方的包，但这种大街货往往没有针对本地环境做优化。比如调用时会警告说你的机器支持一些可加速运算的指令，但编译时没有启用，让你心痒难耐。 2017-06-26 10:34:11.820609: W&nb...

2017-06-23阅读(7851)评论(2)

简单回顾了传统统计机器翻译中的难题，过渡到利用GRU和LSTM来救场，最后介绍了一些较新的改进工作。 机器翻译 对于情感分析这类还算简单的任务，你可以整理一个情感极性词典、编写一堆规则做出一个勉强能用的系统。但到了机器翻译这个高级应用，就无...

2017-06-23阅读(3958)评论(0)

我们已经知道一些手段来改进语言模型，比如： 更好的输入：词→词根→字符 更好的正则化/预处理 这些手段综合起来得到了更好的语言模型 更好的输入 文本的多种颗粒度： 更细的颗粒度相当于减小了词表，让模型更容易做对选择。试验表明的确降低了err...

2017-06-22阅读(9168)评论(5)

这次课推导RNN，介绍各种训练技巧和拓展变种。梯度消失的推导很详细，用Python演示很直观，也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。 语言模型 语言模型就是计算一个单词序列（句子）的概率（$P(w_1...

2017-06-22阅读(4304)评论(0)

介绍了依存句法分析最近的3次突破性工作。 什么是SyntaxNet 这是谷歌在16年开源的“世界上最精准的开源句法分析器”，它基于TF来做句法分析，现在支持40种语言（不包含简体中文）。 这项工作在Chen & Manning的开山...

2017-06-21阅读(5944)评论(2)

这节课由TA们介绍了TF里的几个基本概念（graph、variable、placeholder、session、fetch、feed），基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练词向量。与优达学城的《深度学习公开课》不同之处在...

2017-06-21阅读(4653)评论(1)

术语Visual Dialog，大致这么翻译（通俗理解为斗图）。你可以给聊天机器人发送图片，它能理解图片的意思，你们可以就图片内容展开对话；除了文本之外，让图片也成为交流的一部分；这可以帮助盲人理解周围或社交媒体上的信息。 这是自然语言处理...