1.3　求损失函数的最小值

掌握了梯度下降算法以后，接下来就可以应用梯度下降算法找到使得损失函数取最小值的线性回归模型中的参数值，模型的参数就是损失函数的自变量。与1.1.3节中的损失函数一样，线性回归模型的损失函数如下所示。

根据梯度下降算法的工作原理，首先对参数值进行初始化，，的初始值为 ₀。然后对损失函数求梯度。计算出梯度值以后，就可以应用梯度下降算法逐步找到使得损失函数取最小值的参数值。损失函数的梯度使用来表示，如下所示。

其中各项的值分别如下。

模型中对权重逐个求偏导数的过程可以使用向量的形式进行表示，如下所示。

通过以上的方式就能够分别计算出损失函数对于参数值与的梯度值。计算出梯度值以后，就可以应用梯度下降算法对模型中的所有参数按照指定的学习率lr进行逐次迭代更新。将模型参数初始化为与后，使用梯度下降算法进行一次更新以后的参数使用与来表示，如下所示。

同理，按照同样的方式可以继续对参数进行多次迭代更新，最后得到参数值、，使损失函数取最小值。、的值就是这个线性回归模型的最优参数值。