一.二次代价函数 1. 形式: 其中,C为代价函数,X表示样本,Y表示实际值,a表示输出值,n为样本总数 2. 利用梯度下降法调整权值参数大小,推导过程如下图所示: 根据结果可得,权重w和偏置b的梯度跟激活函数的梯度成正比(即激活函数的梯度越大,w和b的大小调整的越快,训练速度也越快) 3. 激活函数是sigmoid函数时,二次代价函数调整参数过程分析 理想调整参数状态:距离目标点远时,梯度大,参数调整较快:距离目标点近时,梯度小,参数调整较慢.如果我的目标点是调整到M点,从A点==>B点的调整…