导数学习_导数学习

1. 前言

熟悉机器学习的童鞋知道优化方法是最重要的课题之一，最常见的情况是利用目标函数的导数，通过多次迭代来求解无约束优化问题。实现简单，编码方便，是训练模型的必备工具之一。本文主要总结了导数优化方法的几种基本方法，并对相关数学知识进行了梳理。我也是边写边学。如有问题，请指正，共同学习，共同进步。

2. 几个数学概念

1) 梯度（一阶导数）

考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底有多陡。注意，梯度也可以告诉我们不在最快变化方向的其他方向的变化速度（二维情况下，按照梯度方向倾斜的圆在平面上投影成一个椭圆）。对于一个含有 n 个变量的标量函数，即函数输入一个 n 维 的向量，输出一个数值，梯度可以定义为：