Stochastic Gradient Descent 随机梯度下降法-R实现

随机梯度下降法 

【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/

Ljt

作为一个初学者，水平有限，欢迎交流指正。

批量梯度下降法在权值更新前对所有样本汇总误差，当样本较多时，其计算量就会非常大。

随机梯度下降法的权值更新是通过单个的样本进行更新，每读取一条样本数据就对所有权值进行一次更新，然后判断是否收敛，若不收敛则继续代入样本数据进行更新。

随机梯度下降法使损伤函数趋近最小值的速度更快，但是可能造成永远不能收敛到最小值，或一直在最小值周围震荡。

设置固定步长的随机梯度下降法的R实现：

#Stochastic Gradient Descent 随机梯度下降法
#x为数据矩阵（mxn m:样本数 n:特征数 ）;y观测值;error终止条件;maxiter最大迭代次数 

StochasticGradientDescent<-function(x,y,error,maxiter,step=0.001){
  m<-nrow(x)
  x<-cbind(matrix(1,m,1),x)
  n<-ncol(x)
  theta<-matrix(rep(0,n),n,1)  #ktheta初始值都设置为0
  iter<-0   #迭代次数
  k<-0  #第k个样本
  newerror<-1
  while(iter<maxiter|newerror>error){
    iter<-iter+1
    k<-k+1
    ifelse(k>m,k<-k%%m,k)
    xk<-x[k,,drop=FALSE]
    yk<-y[k,,drop=FALSE]
    hk<-xk%*%theta
    des<-t((hk-yk)%*%xk)
    new_theta<-theta-step*des
    newerror<-t(new_theta-theta)%*%(new_theta-theta)
    theta<-new_theta
   }
  costfunction<-t(x%*%theta-y)%*%(x%*%theta-y)
  result<-list(theta,iter,costfunction)
  names(result)<-c('系数','迭代次数','误差')
  result
}