放牧代码和思想
专注自然语言处理、机器学习算法

2019年11月的文章

梯度下降与海森矩阵
机器学习

梯度下降与海森矩阵

hankcs阅读(630)评论(0)

理一理基础优化理论,解释一下深度学习中的一阶梯度下降遇到的病态曲率(pathological curvature)问题。当海森矩阵condition number很大时,一阶梯度下降收敛很慢,无论是对鞍点还是局部极值点而言都不是个好事。 鞍...

我的作品

HanLP自然语言处理包《自然语言处理入门》