libsvm下的windows版本中的工具的使用

下载的libsvm包里面已经为我们编译好了（windows）。进入libsvm\windows，可以看到这几个exe文件：

a.svm-toy.exe:图形界面，可以自己画点，产生数据等。

b.svm-scale.exe:对特征值进行缩放。

c.svm-train.exe:接收特定格式的输入，产生一个model文件。

d.svm-predict.exe:依照已经train好的model，输入新的数据，并输出预测新数据的类别。

svm-toy.exe

可以自己生成数据，双击svm-toy，点击change可以在画布上画点：

点击run，其实就是train的过程。它是个toy（玩具），是为了人们更形象地了解svm，其具体玩法就不做介绍了。

svm-scale.exe

因为原始数据可能范围过大或过小，svmscale可以先将数据重新scale(缩放)到适当范围使训练与预测速度更快。

使用方法：

svm-scale.exe [-l lower] [-u upper] [-y y_lower y_upper] [-s save_name] [-r store_name] filename

其中：

---

-l   lower : x scaling lower limit (default -1)  　　　　 特征值缩放下限，默认为-1

-u  upper : x scaling upper limit (default +1) 　　     特征值缩放上限，默认为+1

-y  y_lower y_upper : y scaling limits (default: no y scaling)          是否对目标值进行缩放及缩放的上下限，默认不缩放　　注意：（回归需要对目标进行缩放，因此该参数可以设定为 -y -1 1）

-s save_filename : save scaling parameters to save_filename　　  表示将缩放的规则保存为文件save_filename

-r restore_filename : restore scaling parameters from restore_filename　　表示将缩放规则文件restore_filename载入后按此规则缩放

若要了解更具体的缩放规则，请参考：http://blog.csdn.net/dxy_1110/article/details/43851955

svm-train.exe

用于训练数据，生成模型；

使用方法：

svm-train.exe [options] training_set_file [model_file] 

其中：

options（操作参数）：可用的选项即表示的含义如下所示：

---

-s svm类型：设置SVM类型，默认值为0，可选类型有（对于回归只能选3或4）：

0 – C-SVC

1 – n-SVC

2 -- one-class-SVM

3 – e-SVR

4 – n-SVR

-t 核函数类型：设置核函数类型，默认值为2，可选类型有：

0 --  线性核： u'*v

1 --  多项式核：  (g*u'*v+ coef 0)deg ree

2 -- RBF  核： e( u v 2) g –

3 -- sigmoid  核： tanh(g*u'*v+ coef 0)

-d degree：核函数中的degree设置，默认值为3；

-g g：设置核函数中的g，默认值为1/k；

-r coef0：设置核函数中的coef0，默认值为0；

-c cost：设置 C- SVC 、 e - SVR 、 n - SVR 中的惩罚系数 C ，默认值为 1 ；

-n n：设置n - SVC 、 one-class-SVM  与 n - SVR  中参数 n  ，默认值 0.5 ；

-p e：设置n - SVR 的损失函数中的 e  ，默认值为 0.1 ；

-m cachesize：设置 cache 内存大小，以 MB 为单位，默认值为 40 ；

-e e：设置终止准则中的可容忍偏差，默认值为0.001；

-h shrinking：是否使用启发式，可选值为0或1，默认值为1；

-b 概率估计：是否计算SVC或SVR的概率估计，可选值0或1，默认0；

-wi weight：对各类样本的惩罚系数C加权，默认值为1；

-v n：n折交叉验证模式。

---

（其中-g选项中的k是指输入数据中的属性数。操作参数-v随机地将数据剖分为n部分并计算交叉检验准确度和均方根误差。以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM类型中没有也不会产生影响，程序不会接收该参数，如果应有的参数设置不正确，参数将采用默认值。）

training_set_file：是要进行训练的数据集；

model_file：是训练结束后产生的模型文件，该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名。

举个例子如下：

C:\libsvm-3.18\windows>svm-train.exe heart_scale

输出：

简单对屏幕回显信息进行说明：

---

#iter为迭代次数，

nu 与前面的操作参数-n nu 相同，

obj为SVM文件转换为的二次规划求解得到的最小值，

rho 为判决函数的常数项b，

nSV 为支持向量个数，

nBSV为边界上的支持向量个数，

Total nSV为支持向量总个数（对于两类来说，因为只有一个分类模型 Total nSV = nSV ，但是对于多类，这个是各个分类模型的 nSV 之和）。

---

训练后的模型保存为文件*.model，用记事本打开其内容如下：

---

svm_type c_svc % 训练所采用的svm类型，此处为C- SVC

kernel_type rbf %训练采用的核函数类型，此处为RBF核

gamma 0.0769231 %设置核函数中的g ，默认值为1/ k

nr_class 2 %分类时的类别数，此处为两分类问题

total_sv 132 %总共的支持向量个数

rho 0.424462 %决策函数中的常数项b

label 1 -1%类别标签

nr_sv 64 68 %各类别标签对应的支持向量个数

SV %以下为支持向量

1 1:0.166667 2:1 3:-0.333333 4:-0.433962 5:-0.383562 6:-1 7:-1 8:0.0687023 9:-1 10:-0.903226 11:-1 12:-1 13:1

0.5104832128985164 1:0.125 2:1 3:0.333333 4:-0.320755 5:-0.406393 6:1 7:1 8:0.0839695 9:1 10:-0.806452 12:-0.333333 13:0.5

1 1:0.333333 2:1 3:-1 4:-0.245283 5:-0.506849 6:-1 7:-1 8:0.129771 9:-1 10:-0.16129 12:0.333333 13:-1

1 1:0.208333 2:1 3:0.333333 4:-0.660377 5:-0.525114 6:-1 7:1 8:0.435115 9:-1 10:-0.193548 12:-0.333333 13:1

---

补充：采用交叉验证选择最佳参数C与g

通常而言，比较重要的参数是 gamma (-g) 跟 cost (-c) 。而 cross validation (-v)的参数常用5。那么如何去选取最优的参数c和g呢？上篇博文提到可以使用libsvm子目录下面的grid.py。

grid.py是一种用于RBF核函数的C-SVM分类的参数选择程序。用户只需给定参数的一个范围，grid.py采用交叉验证的方法计算每种参数组合的准确度来找到最好的参数。

Usage: grid.py [-log2c begin,end,step] [-log2g begin,end,step] [-v fold]

       [-svmtrain pathname] [-gnuplot pathname] [-out pathname] [-png pathname]

       [additional parameters for svm-train] dataset

The program conducts v-fold cross validation using parameter C (and gamma)= ^begin, ^(begin+step), ..., ^end.

示例：

python grid.py -log2c -10,10,1 -log2g 10,-10,-1 trainset.txt

这是给参数C和g设定了一个范围，且给定了变化步长，程序会在给定范围内寻找最优参数C和g。

当然也可以直接这样：

python grid.py trainset.txt

让程序自动获取最佳的C和g。常会出现的情况是：对不同的C和g，交叉验证的精度（Accuracy）常会相同。这会导致当不指定范围时，得到的C过大或过小，过大时，表示对错误例惩罚程度越大，可能到导致模型过拟合，使得在对测试集进行测试时，准确率较低。C过小时，容易欠拟合。

svm-predict.exe

用来测试训练结果的准确率。

使用方法：

svm-predict.exe[options] test_file model_file output_file

options（操作参数）：

---

-b probability_estimates：是否需要进行概率估计预测，可选值为0或1，默认值为0。

test_file：是要进行预测的数据文件；

model_file：是由svm-train.exe产生的模型文件；

output_file：是svmpredict的输出文件，表示预测的结果值。

（注：输出结果包括均方误差（Mean squared error）和相关系数（Squared corralation coefficient）。）

例如：

./svm-predict heart_scale heart_scale.model heart_scale.out

这里显示的是结果：

Accuracy = 86.6667% (/) (classification)

以上。