每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降

作者 : admin 本文共290个字,预计阅读时间需要1分钟 发布时间: 2024-06-16 共1人阅读

本文重点

上节课程我们学习了单样本逻辑回归算法的梯度下降,实际使用中我们肯定是m个样本的梯度下降,那么m个样本的如何完成梯度下降呢?

m个样本的损失函数定义为:

每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降插图

我们定义第i个样本的dw、db为:

每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降插图(1)

dw和db为损失J对w和b的偏导数,因为m个样本的代价函数J是1到m个样本总损失的平均。所以m个样本代价函数对wj的微分也同样是各项样本损失对wj微分的平均。

每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降插图(2)

对比来说单个样本就是求出dw就ok了,而m个样本就是求出m个样本的dw然后加起来求平均,这就是求m个样本求dw的方式。(dw表示损失函数对参数w的偏导数)

求出m个样本的dw之后,我们就可以将其直接应用到梯度下降算法了。

每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降插图(3)

伪代码表示为:

本站无任何商业行为
个人在线分享-虚灵IT资料分享 » 每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降
E-->