机器学习是时下非常流行的话题,而Tensorflow是机器学习中最有名的工具包。TensorflowSharp是Tensorflow的C#语言表述。本文会对TensorflowSharp的使用进行一个简单的介绍。

本文会先介绍Tensorflow的一些基本概念,然后实现一些基本操作例如数字相加等运算。然后,实现求两个点(x1,y1)和(x2,y2)的距离。最后,通过这些前置基础和一些C#代码,实现使用KNN方法识别MNIST手写数字集合(前半部分)。阅读本文绝对不需要任何机器学习基础,因为我现在也才刚刚入门,行文不准确之处难免,敬请见谅。

本文的后半部分还在整理之中。

1. 什么是机器学习

用最最简单的话来说,机器学习就是不断改进一个模型的过程,使之可以更好的描述一组数据的内在规律。假设,我们拿到若干人的年龄(a1,a2,a3…)和他们的工资(b1,b2,b3…),此时,我们就可以将这些点画在一个二维直角坐标系中,包括(a1,b1),(a2,b2)等等。这些就称为输入或训练数据。

我们可以用数学的最小二乘法拟合一条直线,这样就可以得到最好的可以描述这些数据的规律y=ax+b了。当然,因为我们有很多个点,所以它们可能不在一条直线上,因此任何的直线都不会过它们所有的点,即一定会有误差。

但对于电脑来说,它可以使用一种截然不同的方式来得到y=ax+b中a,b的值。首先,它从一个随便指定的a和b出发(例如a=100,b=1),然后它算出y=100(a1)+1的值和b1的区别,y=100(a2)+1和b2的区别,等等。它发现误差非常大,此时,它就会调整a和b的值(通过某种算法),使得下一次的误差会变小。如果下次的误差反而变得更大了,那就说明,要么是初始值a,b给的不好,要么是y=ax+b可能不是一个好的模型,可能一个二次方程y=a^2+bx+c更好,等等。

经过N轮调整(这称为模型的训练),误差的总和可能已经到了一个稳定的,较小的值。误差小时,a和b的调整相对当然也会较小。此时的a和b就会十分接近我们使用最小二乘法做出来的值,这时,就可以认为模型训练完成了。

当然,这只是机器学习最简单的一个例子,使用的模型也只是线性的直线方程。如果使用更加复杂的模型,机器学习可以做出十分强大的事情。

2. 环境初始化

我使用VS2017创建一个新的控制台应用,然后,使用下面的命令安装TensorflowSharp:

nuget install TensorFlowSharp

TensorflowSharp的源码地址:https://github.com/migueldeicaza/TensorFlowSharp

如果在运行时发现问题“找不到libtensorflow.dll”,则需要访问

http://ci.tensorflow.org/view/Nightly/job/nightly-libtensorflow-windows/lastSuccessfulBuild/artifact/lib_package/libtensorflow-cpu-windows-x86_64.zip

下载这个压缩包。然后,在下载的压缩包中的\lib中找到tensorflow.dll,将它改名为libtensorflow.dll,并在你的工程中引用它。

这样一来,环境初始化就完成了。

3. TensorflowSharp中的概念

TensorflowSharp / Tensorflow中最重要的几个概念:

图(Graph):它包含了一个计算任务中的所有变量和计算方式。可以将它和C#中的表达式树进行类比。例如,一个1+2可以被看作为两个常量表达式,以一个二元运算表达式连接起来。在Tensorflow的世界中,则可以看成是两个tensor和一个op(operation的缩写,即操作)。简单来说,做一个机器学习的任务就是计算一张图。

在计算图之前,当然要把图建立好。例如,计算(1+2)*3再开根号,是一个包括了3个tensor和3个Op的图。

不过,Tensorflow的图和常规的表达式还有所不同,Tensorflow中的节点变量是可以被递归的更新的。我们所说的“训练”,也就是不停的计算一个图,获得图的计算结果,再根据结果的值调整节点变量的值,然后根据新的变量的值再重新计算图,如此重复,直到结果令人满意(小于某个阈值),或跑到了一个无穷大/小(这说明图的变量初始值设置的有问题),或者结果基本不变了为止。

会话(Session):为了获得图的计算结果,图必须在会话中被启动。图是会话类型的一个成员,会话类型还包括一个runner,负责执行这张图。会话的主要任务是在图运算时分配CPU或GPU。

张量(tensor): Tensorflow中所有的输入输出变量都是张量,而不是基本的int,double这样的类型,即使是一个整数1,也必须被包装成一个0维的,长度为1的张量【1】。一个张量和一个矩阵差不多,可以被看成是一个多维的数组,从最基本的一维到N维都可以。张量拥有阶(rank),形状(shape),和数据类型。其中,形状可以被理解为长度,例如,一个形状为2的张量就是一个长度为2的一维数组。而阶可以被理解为维数。

数学实例

Python 例子

0

纯量 (只有大小)

s = 483

1

向量(大小和方向)

v = [1.1, 2.2, 3.3]

2

矩阵(数据表)

m = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

3

3阶张量 (数据立体)

t = [[[2], [4], [6]], [[8], [10], [12]], [[14], [16], [18]]]

Tensorflow中的运算(op)有很多很多种,最简单的当然就是加减乘除,它们的输入和输出都是tensor。

Runner:在建立图之后,必须使用会话中的Runner来运行图,才能得到结果。在运行图时,需要为所有的变量和占位符赋值,否则就会报错。

4. TensorflowSharp中的几类主要变量

Const:常量,这很好理解。它们在定义时就必须被赋值,而且值永远无法被改变。

Placeholder:占位符。这是一个在定义时不需要赋值,但在使用之前必须赋值(feed)的变量,通常用作训练数据。

Variable:变量,它和占位符的不同是它在定义时需要赋值,而且它的数值是可以在图的计算过程中随时改变的。因此,占位符通常用作图的输入(即训练数据),而变量用作图中可以被“训练”或“学习”的那些tensor,例如y=ax+b中的a和b。

5. 基本运算

下面的代码演示了常量的使用:

//基础常量运算,演示了常量的使用
static void BasicOperation()
{
using (var s = new TFSession())
{
var g = s.Graph; //建立两个TFOutput,都是常数
var v1 = g.Const(1.5);
var v2 = g.Const(0.5); //建立一个相加的运算
var add = g.Add(v1, v2); //获得runner
var runner = s.GetRunner(); //相加
var result = runner.Run(add); //获得result的值2
Console.WriteLine($"相加的结果:{result.GetValue()}");
}
}

使用占位符:

//基础占位符运算
static void BasicPlaceholderOperation()
{
using (var s = new TFSession())
{
var g = s.Graph; //占位符 - 一种不需要初始化,在运算时再提供值的对象
//1*2的占位符
var v1 = g.Placeholder(TFDataType.Double, new TFShape());
var v2 = g.Placeholder(TFDataType.Double, new TFShape()); //建立一个相乘的运算
var add = g.Mul(v1, v2); //获得runner
var runner = s.GetRunner(); //相加
//在这里给占位符提供值
var data1 = new double[] { 0.3, 0.5 };
var data2 = new double[] { 0.4, 0.8 }; var result = runner
.Fetch(add)
.AddInput(v1, new TFTensor(data1))
.AddInput(v2, new TFTensor(data2))
.Run(); var dataResult = (double[])result[].GetValue(); //获得result的值
Console.WriteLine($"相乘的结果: [{dataResult[0]}, {dataResult[1]}]");
}
}

在上面的代码中,我们使用了fetch方法来获得数据。Fetch方法用来帮助取回操作的结果,上面的例子中操作就是add。我们看到,整个图的计算是一个类似管道的流程。在fetch之后,为占位符输入数据,最后进行运算。

使用常量表示矩阵:

//基础矩阵运算
static void BasicMatrixOperation()
{
using (var s = new TFSession())
{
var g = s.Graph; //1x2矩阵
var matrix1 = g.Const(new double[,] { { , } }); //2x1矩阵
var matrix2 = g.Const(new double[,] { { }, { } }); var product = g.MatMul(matrix1, matrix2);
var result = s.GetRunner().Run(product);
Console.WriteLine("矩阵相乘的值:" + ((double[,])result.GetValue())[, ]);
};
}

6. 求两个点的距离(L1,L2)

求两点距离实际上就是若干操作的结合而已。我们知道,(x1,x2), (y1,y2)的距离为:

Sqrt((x1-x2)^2 + (y1-y2)^2)

因此,我们通过张量的运算,获得

[x1-x2, y1-y2] (通过Sub)

[(x1-x2)^2, (y1-y2)^2] (通过Pow)

然后,把这两个数加起来,这需要ReduceSum运算符。最后开根就可以了。我们把整个运算赋给变量distance,然后fetch distance:

//求两个点的L2距离
static void DistanceL2(TFSession s, TFOutput v1, TFOutput v2)
{
var graph = s.Graph; //定义求距离的运算
//这里要特别注意,如果第一个系数为double,第二个也需要是double,所以传入2d而不是2
var pow = graph.Pow(graph.Sub(v1, v2), graph.Const(2d)); //ReduceSum运算将输入的一串数字相加并得出一个值(而不是保留输入参数的size)
var distance = graph.Sqrt(graph.ReduceSum(pow)); //获得runner
var runner = s.GetRunner(); //求距离
//在这里给占位符提供值
var data1 = new double[] { , };
var data2 = new double[] { , }; var result = runner
.Fetch(distance)
.AddInput(v1, new TFTensor(data1))
.AddInput(v2, new TFTensor(data2))
.Run(); Console.WriteLine($"点v1和v2的距离为{result[0].GetValue()}");
}

最后,我们根据目前所学,实现KNN识别MNIST。

7. 实现KNN识别MNIST(1)

什么是KNN

K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则认为该样本也属于这个类别。

  图中,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。

在进行计算时,KNN就表现为:

  1. 首先获得所有的数据
  2. 然后对一个输入的点,找到离它最近的K个点(通过L1或L2距离)
  3. 然后,对这K个点所代表的值,找出最多的那个类,那么,这个输入的数据就被认为属于那个类

对MNIST数据的KNN识别,在读入若干个输入数据(和代表的数字)之后,逐个读入测试数据。对每个测试数据,找到离他最近的K个输入数据(和代表的数字),找出最多的代表数字A。此时,测试数据就被认为代表数字A。因此,使用KNN识别MNIST数据就可以化为求两个点(群)的距离的问题。

MNIST数据集

MNIST是一个非常有名的手写数字识别的数据集。它包含了6万张手写数字图片,例如:

当然,对于我们人类而言,识别上面四幅图是什么数字是十分容易的,理由很简单,就是“看着像”。比如,第一张图看着就像5。但如果是让计算机来识别,它可无法理解什么叫看着像,就显得非常困难。实际上,解决这个问题有很多种方法,KNN是其中最简单的一种。除了KNN之外,还可以使用各种类型的神经网络。

我们可以将每个图片看成一个点的集合。实际上,在MNIST输入中,图片被表示为28乘28的一个矩阵。例如,当我们成功读取了一张图之后,将它打印出来会发现结果是这样的(做了一些处理):

其中,数字均为byte类型(0-255),数字越大,代表灰度越深。当然,0就代表白色了。因此,你可以想象上面的那张图就是一个手写的2。如果把上图的000换成3个空格可以看的更清楚:

对于每张这样的图,MNIST提供了它的正确答案(即它应该是代表哪个数字),被称为label。上图的label显然就是2了。因此,每张输入的小图片都是一个28乘28的矩阵(含有784个数字),那么,我们当然也可以计算任意两个小图片的距离,它就是784个点和另外784个点的距离之和。因此,如果两张图的距离很小,那么它们就“看着像”。在这里,我们可以有很多定义距离的方式,简单起见,我们就将两点的距离定义为L1距离,即直接相减之后取绝对值。例如,如果两个图片完全相同(784个数字位置和值都一样),那么它们的距离为0。如果它们仅有一个数字不同,一个是6,一个是8,那么它们的距离就是2。

那么,在简单了解了什么是KNN之后,我们的任务就很清楚了:

  1. 获得数据
  2. 把数据处理为一种标准形式
  3. 拿出数据中的一部分(例如,5000张图片)作为KNN的训练数据,然后,再从数据中的另一部分拿一张图片A
  4. 对这张图片A,求它和5000张训练图片的距离,并找出一张训练图片B,它是所有训练图片中,和A距离最小的那张(这意味着K=1)
  5. 此时,就认为A所代表的数字等同于B所代表的数字b
  6. 如果A的label真的是b,那么就增加一次获胜次数

通过多次拿图片,我们就可以获得一个准确率(获胜的次数/拿图片的总次数)。最后程序的输出如下:

在下一篇文章中会详细分析如何实现整个流程。

机器学习(1) - TensorflowSharp 简单使用与KNN识别MNIST流程的更多相关文章

  1. 机器学习(2) - KNN识别MNIST

    代码 https://github.com/s055523/MNISTTensorFlowSharp 数据的获得 数据可以由http://yann.lecun.com/exdb/mnist/下载.之后 ...

  2. 机器学习&数据挖掘笔记_13(用htk完成简单的孤立词识别)

    最近在看图模型中著名的HMM算法,对应的一些理论公式也能看懂个大概,就是不太明白怎样在一个具体的机器学习问题(比如分类,回归)中使用HMM,特别是一些有关状态变量.观察变量和实际问题中变量的对应关系, ...

  3. KNN识别图像上的数字及python实现

    领导让我每天手工录入BI系统中的数据并判断数据是否存在异常,若有异常点,则检测是系统问题还是业务问题.为了解放双手,我决定写个程序完成每天录入管理驾驶舱数据的任务.首先用按键精灵录了一套脚本把系统中的 ...

  4. KNN识别手写数字

    一.问题描述 手写数字被存储在EXCEL表格中,行表示一个数字的标签和该数字的像素值,有多少行就有多少个样本. 一共42000个样本 二.KNN KNN最邻近规则,主要应用领域是对未知事物的识别,即判 ...

  5. 机器学习&数据挖掘笔记(常见面试之机器学习算法思想简单梳理)

    机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 作者:tornadomeet 出处:http://www.cnblogs.com/tornadomeet 前言: 找工作时( ...

  6. [转]机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)

    机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 转自http://www.cnblogs.com/tornadomeet/p/3395593.html 前言: 找工作时(I ...

  7. 机器学习实战:用nodejs实现人脸识别

    机器学习实战:用nodejs实现人脸识别   在本文中,我将向你展示如何使用face-recognition.js执行可靠的人脸检测和识别 . 我曾经试图找一个能够精确识别人脸的Node.js库,但是 ...

  8. 机器学习:K-近邻算法(KNN)

    机器学习:K-近邻算法(KNN) 一.KNN算法概述 KNN作为一种有监督分类算法,是最简单的机器学习算法之一,顾名思义,其算法主体思想就是根据距离相近的邻居类别,来判定自己的所属类别.算法的前提是需 ...

  9. 机器学习之K近邻算法(KNN)

    机器学习之K近邻算法(KNN) 标签: python 算法 KNN 机械学习 苛求真理的欲望让我想要了解算法的本质,于是我开始了机械学习的算法之旅 from numpy import * import ...

随机推荐

  1. Jenkins+Gradle实现android开发持续集成、打包

    Jenkins简介 Jenkins 是一个开源项目,提供了一种易于使用的持续集成系统,使开发者从繁杂的集成中解脱出来,专注于更为重要的业务逻辑实现上.同时 Jenkins 能实施监控集成中存在的错误, ...

  2. R语言︱情感分析—基于监督算法R语言实现(二)

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:本文大多内容来自未出版的<数据 ...

  3. vxworks下硬盘测速程序

    void speed(int buflen,int mod){/*int mod = 0;*/ int len=50; FILE *fp; unsigned int i=0,j=0,tmp,tmp2; ...

  4. vxWorks下intel82567v3网卡驱动的更新

    /* 82567 devicesID */ #define INTEL_DEVICEID_82567LF              0x10BF#define INTEL_DEVICEID_82567 ...

  5. freemarker之include指令

    freemarker之include指令 1.父页面ftl <html> <head> <meta http-equiv="content-type" ...

  6. C#中各种计时器 Stopwatch、TimeSpan

    1.使用 Stopwatch 类 (System.Diagnostics.Stopwatch)Stopwatch 实例可以测量一个时间间隔的运行时间,也可以测量多个时间间隔的总运行时间.在典型的 St ...

  7. TypeError: Error #1006: value 不是函数。

    1.错误原因 TypeError: Error #1006: value 不是函数. at BasicChart/dataFunc()[E:\Flash Builder\Map\src\BasicCh ...

  8. ACM1008

    题目:Haab日历和Tzolkin日历的转换. Maya一共有两种日历,第一种日历名为Haab,将一年分为365天,一共有19个月.其中前18个月,分别命名为pop.nozip.zotz.tzec.x ...

  9. JAVA中String类的方法(函数)总结--JAVA基础

    1.concat()方法,当参数为两字符串时,可实现字符串的连接: package cn.nxl123.www; public class Test { public static void main ...

  10. linux命令类型及执行顺序

    一 为什么要使用命令行   当初级Linux用户面对缺乏图形界面的Linux时很多人都会抱怨:为何要死守命令行?为什么不采用人机互交好.更简单的图形界面呢?事实上,图形界面在某些任务方面确实高效而且简 ...