Sklearn (一) 监督学习

---

本系列博文是根据SKlearn的一个学习小结，并非原创！

　　　　　　　　　　　　　　　　　　　　 1.直接学习TensorFlow有点不知所措，感觉需要一些基础知识做铺垫。

　　　　　　　　　　　　　　　　　　　　 2.之前机器学习都是理论《Ng机器学习基础》+底层编写《机器学习实战》，现实生活基本用不到。

　　　　　　　　　　　　　　　　　　　　 3.会增加一些个人总结，也会删除一些以前学过的知识。

---

广义线性模型

1.1 普通最小二乘法

　　然而，对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。当各项是相关的，且设计矩阵  的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。

Example：

　　SK的数据集介绍：https://blog.csdn.net/sa14023053/article/details/52086695，暂时用不到那么多，用到什么看什么吧！

 import matplotlib.pyplot as plt
 import numpy as np
 from sklearn import datasets, linear_model
 from sklearn.metrics import mean_squared_error, r2_score
 '''
     这是一个糖尿病的数据集，
     主要包括442行数据，10个属性值
     分别是：Age(年龄)、
     性别(Sex)、
     Body mass index(体质指数)、
     Average Blood Pressure(平均血压)、
     S1~S6一年后疾病级数指标。
     Target为一年后患疾病的定量指标。
 '''
 diabetes = datasets.load_diabetes()

 # 取其中的一个数据进行试验
 # https://blog.csdn.net/lanchunhui/article/details/49725065,
 #    np.newaxis的含义和分析，其中也可以写作下面的形式：
 # diabetes.data[:,2][:,np.newaxis] 或者 diabetes.data[:,2][:,None]
 # 目的为了增加一个轴
 diabetes_X = diabetes.data[:, np.newaxis, 2] #(442,10)

 # Split the data into training/testing sets
 diabetes_X_train = diabetes_X[:-20]
 diabetes_X_test = diabetes_X[-20:]

 # Split the targets into training/testing sets
 diabetes_y_train = diabetes.target[:-20]
 diabetes_y_test = diabetes.target[-20:]

 # Create linear regression object
 regr = linear_model.LinearRegression()

 # Train the model using the training sets
 regr.fit(diabetes_X_train, diabetes_y_train)

 # Make predictions using the testing set
 diabetes_y_pred = regr.predict(diabetes_X_test)

 # The coefficients，打印权重
 print('Coefficients: \n', regr.coef_)
 # The mean squared error，损失函数
 print("Mean squared error: %.2f"
       % mean_squared_error(diabetes_y_test, diabetes_y_pred))
 # Explained variance score: 1 is perfect prediction
 print('Variance score: %.2f' % r2_score(diabetes_y_test, diabetes_y_pred))

 # Plot outputs
 plt.scatter(diabetes_X_test, diabetes_y_test,  color='black')
 plt.plot(diabetes_X_test, diabetes_y_pred, color='blue', linewidth=3)

 #plt.xticks()/plt.yticks()设置轴记号
 #现在是明白干嘛用的了，就是人为设置坐标轴的刻度显示的值
 '''
 plt.xticks([-np.pi, -np.pi/2, 0, np.pi/2, np.pi],
 [r'$-\pi$', r'$-\pi/2$', r'$0$', r'$+\pi/2$', r'$+\pi$'])
 plt.yticks([-1, 0, +1],
 [r'$-1$', r'$0$', r'$+1$'])
 '''
 #plt.xticks(())
 #plt.yticks(())

 plt.show()

1.2 岭回归

　　注释：就是加了一个惩罚项，防止过拟合~~

　　Exanple和简单线性回归一样的表达~~

 >>> from sklearn import linear_model
 >>> reg = linear_model.Ridge (alpha = .5)
 >>> reg.fit ([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
 Ridge(alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None,
       normalize=False, random_state=None, solver='auto', tol=0.001)
 >>> reg.coef_
 array([ 0.34545455,  0.34545455])
 >>> reg.intercept_
 0.13636...

1.3 贝叶斯岭回归

训练数据：

 >>> from sklearn import linear_model
 >>> X = [[0., 0.], [1., 1.], [2., 2.], [3., 3.]]
 >>> Y = [0., 1., 2., 3.]
 >>> reg = linear_model.BayesianRidge()
 >>> reg.fit(X, Y)
 BayesianRidge(alpha_1=1e-06, alpha_2=1e-06, compute_score=False, copy_X=True,
        fit_intercept=True, lambda_1=1e-06, lambda_2=1e-06, n_iter=300,
        normalize=False, tol=0.001, verbose=False)

预测数据：

>>> reg.predict ([[1, 0.]])
array([ 0.50000013])　　

查看权重：

>>> reg.coef_
array([ 0.49999993,  0.49999993])

　　

参考：

　　http://sklearn.apachecn.org/cn/0.19.0/modules/linear_model.html

　　https://blog.csdn.net/eastmount/article/details/52929765

　　http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814293

　　http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.linear_model.Ridge.html#sklearn.linear_model.Ridge