机器学习数学基础- gradient descent算法（下），gradientdescent

Gradient Descent算法

续上文。
gradient descent的用途：

可以用于求解一个函数f(x1,x2,......xn)的local 最小值。

关于local最小值：

一个函数可能有多个local最小值，所谓local最小值是当给定（x1,x2,......xn）的某一个实例，如果在该实例的无限小的附近的任何一个实例的f值都大于该实例的f值，那么该实例所对应的就是f的一个local最小值。

gradient descent算法求解local最小值的方法如下：

任意给定（x1,x2,......xn）的一个实例，简写为x?，那么将x?朝着?f(x?)（注：是一个n维向量）的反向方向移动一个足够小的值，得到