梯度

神经网络利用梯度下降法实现逐步优化。梯度是一组通过计算损失函数的导数得到的方向，这些方向能够最有效地提升预测效果。通过沿梯度方向迈出一小步，重新计算梯度并重复这一过程，神经网络可以在训练过程中逐步优化其性能。