第一章：AI人工智能 の 数据预处理编程实战 Numpy, Pandas, Matplotlib, Scikit-Learn

本课主题

• 数据中 Independent 变量和 Dependent 变量
• Python 数据预处理的三大神器：Numpy、Pandas、Matplotlib
• Scikit-Learn 的机器学习实战
  • 数据丢失或者不完整的处理方法及编程实战
  • Categorical 数据的 Dummy Encoders 方法及编程实战
  • Fit 和 Transform 总结
  • 数据切分之Training 和 Testing 集合实战
  • Feature Scaling 实战

引言

机器学习中数据预处理是一个很重要的步骤，因为有好的数据作为基础可以训练出精确度很高的机器学习模型，但在真实的世界，数据是不完美的，所以才需要通过数据预处理，尽可能把垃圾数据转化为更合理的数据来训练机器学习模型。这篇文章是一个起点，主要介绍在机器学习过程中的步骤：其中包括以下几点，希望通过这篇文章可以让大家对机器学习有一个更直观的认识。

• 数据预处理；
• Independant Variable 和 Dependent Variable 关系和区别；
• Categorial Data 和 Dummy Encoder 编程实战；
• 数据不完整的处理方法；
• Feature Scaling 的重要性；
• 机器学习中 Python库 (Numpy, Pandas, Matplotlib, Scikit-Learn) 的实战编程

Dependent 和 Independent 变量

什么是 Independent 变量? 什么是 dependent 变量? 机器学习的目标是找出 Depenedent 变量和 Independent 变量之間的关系，有了这个结果，你就可以根据过去的历史数据来预测未來的行為。在這個列子中，有 Country，Age，Salary，Purchased 四个维度的数据，其中 Country，Age 和 Salary 是 Independent 变量，也可以叫特徵，而 Purchased 是一个 Dependent 变量，它会跟据其他三个特徵来得出买与不买的结论。

Country,Age,Salary,Purchased
France,44,72000,No
Spain,27,48000,Yes
Germany,30,54000,No
Spain,38,61000,No
Germany,40,,Yes
France,35,58000,Yes
Spain,,52000,No
France,48,79000,Yes
Germany,50,83000,No

data.csv

Python 有很多专门处理数据预处理的库：Numpy 是 Python 中数据处理最流行和最强大的库之一，尢其是对矩阵进行了全面的支持；Pandas 是以 Table 的方式对数据进行处理，叫 DataFrame；Matplotlib 对开发者最为友好的数据可视化工具之一，下面调用 pandas.read_csv 函数来读取数据源

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

dataset = pd.read_csv("data.csv")

X = dataset.iloc[:,:-1].values
y = dataset.iloc[:,3].values

[下图是 data.csv 的数据]

这些数据中有一部份数据是不完整的，出现 Null 的情况，此时，可以调用 sklearn.preprocessing 中 Imputer 类，你可以对丢失的部份采用平均法来填补上。

数据丢失或者不完整的处理方法及编程实战

数据丢失在数据中是经常出现的，所以在进行机器学习的模型训练之前，必须先进行数据预处理，来填补数据的空白，具体方法之一：计算整列数据的平均值并填补平均值。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values="NaN", strategy="mean", axis=0)
imputer = imputer.fit(X[:,1:3])
X[:,1:3] = imputer.transform(X[:,1:3])

[下图是经过平均法计算出来的数据]

在机算计的世界它只对数字敏感，它是看不懂字符串类型的数据的，把丢失的数据填补上之后，下一步可以对字符串类型的数据进行数字化处理，比如把 Country: France, Spain, Germany 和Purchases: Yes, No 中的数据转化成数字。

Categorical 数据和 Dummy Encoders 方法及编程实战

可以通过调用 sklearn.preprocessing 库中 LabelEncoder 类 fit_transform 函数把字符串类型数据 StringType 转化为数字型数据 IntegerType

from sklearn.preprocessing import LabelEncoder
labelencoder_y = LabelEncoder()
y = labelencoder_y.fit_transform(y)
labelencoder_X = LabelEncoder()
X[:,0] = labelencoder_X.fit_transform(X[:,0])

[下图为数据运行后的结果，把 Country: France, Spain, Germany 和Purchases: Yes, No 换化成 [0, 2, 1] 和 [1,0]]

Country 中的 [0,1,2] 是有顺序的，如果数据量大的话，可能会因为数字的大小而影响模型训练的结果，这是我们不想看见的，所以可以使用一种叫 Dummy Encoders 的方法，以数组的方式，用 [0,1] 来表示，比如把 Country 编码成为 [0,0,1], [0,1,0], [1,0,0]

from sklearn.preprocessing import OneHotEncoder
onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()

[下图为数据运行后的结果，现在总共有 5 列，前 3 列分别是描述 Country 的特徵, 第  4 列是 Age 和 第 5 列是 Salary]

训练集和测试集 (Training and Testing Dataset)

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 0)

[下图为数据运行后的结果，把数据分为 testing 和 training data]

Feature Scaling

在 data.csv 中可以看见Salary 从数字上讲远远比 Age 的数字大，这会影响机器学习模型的准确度，所以我们必须进行 Feature Scaling 来减少数据之间的差距，在数学上我们可以用 Standardization 和 Normalization 来解决这个问题。

Standardization: ( x - mean(x) ) / standard deviation (x)
Normalization: 

在编程上我们可以调用 sklearn.preprocessing 的 StandardScaler 类中的 fit_transform 函数

from sklearn.preprocessing import StandardScaler
standardScaler = StandardScaler()
X_train = standardScaler.fit_transform(X_train)
X_test = standardScaler.transform(X_test)

可以看到完整 Feature Scaling 后的数据的差距没有这么极端

[下图为数据运行后的结果, 这样做可以大大减少数据差距]

　　

以下是这个例子完整的代码　　

# -*- coding: utf-8 -*-
# 数据预处理的三大神器 Numpy, Pandas, Matplotlib

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

dataset = pd.read_csv("data.csv")
X = dataset.iloc[:,:-1].values
y = dataset.iloc[:,3].values

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values="NaN", strategy="mean", axis=0)
imputer = imputer.fit(X[:,1:3])
X[:,1:3] = imputer.transform(X[:,1:3])

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_y = LabelEncoder()
y = labelencoder_y.fit_transform(y)

labelencoder_X = LabelEncoder()
X[:,0] = labelencoder_X.fit_transform(X[:,0])

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 0)

from sklearn.preprocessing import StandardScaler
standardScaler = StandardScaler()
X_train = standardScaler.fit_transform(X_train)
X_test = standardScaler.transform(X_test)

完整的代码

总结

1. 不能有数据丢失的情况

2. 把所有字符串类型的分类特徵转换成数字类型 (Categorical Data)

3. 把数据分开 Training Data Set 和 Testing Data Set

4. 为了不让过大或者过少的数据影响机器模型的结果，所以需要用 Feature Scaling 去预处理

参考资料

资料来源来至

[1] DT大数据梦工厂 30个真实商业案例代码中习得AI：10大机器学习案例、13大深度学习案例、7大增强学习案例

第2课：AI数据的预处理三部曲之第一步：导入数据及初步处理Numpy、Pandas、Matplotlib
第3课：AI数据的预处理三部曲之第二步：使用Scikit-Learn来对Missing &Categorical数据进行最快速处理
第4课：AI数据的预处理三部曲之第三步：使用Scikit-Learn来对把数据切分为Training&Testing Set以及Feature Scaling实战

[2] Python 数据科学系列 の Numpy、Series 和 DataFrame介绍