libsvm参数学习和核函数使用（转载）

一、参数说明

English

libsvm_options:

-s svm_type : set type of SVM (default 0)

0 -- C-SVC
        1 -- nu-SVC
        2 -- one-class SVM
        3 -- epsilon-SVR
        4 -- nu-SVR
-t kernel_type : set type of kernel function (default 2)
        0 -- linear: u'*v
        1 -- polynomial: (gamma*u'*v + coef0)^degree
        2 -- radial basis function: exp(-gamma*|u-v|^2)
        3 -- sigmoid: tanh(gamma*u'*v + coef0)
        4 -- precomputed kernel (kernel values in training_instance_matrix)
-d degree : set degree in kernel function (default 3)
-g gamma : set gamma in kernel function (default 1/k)
-r coef0 : set coef0 in kernel function (default 0)
-c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)
-n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default

0.5)
-p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1)
-m cachesize : set cache memory size in MB (default 100)
-e epsilon : set tolerance of termination criterion (default 0.001)
-h shrinking: whether to use the shrinking heuristics, 0 or 1 (default 1)
-b probability_estimates: whether to train a SVC or SVR model for

probability estimates, 0 or 1 (default 0)
-wi weight: set the parameter C of class i to weight*C, for C-SVC (default

1)
-v n: n-fold cross validation mode
==========================================================
Chinese:
Options：可用的选项即表示的涵义如下
　　-s svm类型：SVM设置类型(默认0)
　　0 -- C-SVC
　　1 --v-SVC
　　2 – 一类SVM
　　3 -- e -SVR
　　4 -- v-SVR
　　-t 核函数类型：核函数设置类型(默认2)
　　0 – 线性：u'v
　　1 – 多项式：(r*u'v + coef0)^degree
　　2 – RBF函数：exp(-gamma|u-v|^2)
　　3 –sigmoid：tanh(r*u'v + coef0)
　　-d degree：核函数中的degree设置(针对多项式核函数)(默认3)
　　-g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数)(默认

1/ k)
　　-r coef0：核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)
　　-c cost：设置C-SVC，e -SVR和v-SVR的参数(损失函数)(默认1)
　　-n nu：设置v-SVC，一类SVM和v- SVR的参数(默认0.5)
　　-p p：设置e -SVR 中损失函数p的值(默认0.1)
　　-m cachesize：设置cache内存大小，以MB为单位(默认40)
　　-e eps：设置允许的终止判据(默认0.001)
　　-h shrinking：是否使用启发式，0或1(默认1)
　　-wi weight：设置第几类的参数C为weight*C(C-SVC中的C)(默认1)
　　-v n: n-fold交互检验模式，n为fold的个数，必须大于等于2
　　其中-g选项中的k是指输入数据中的属性数。option -v 随机地将数据剖分为n部

分并计算交互检验准确度和均方根误差。以上这些参数设置可以按照SVM的类型和核函

数所支持的参数进行任意组合，如果设置的参数在函数或SVM类型中没有也不会产生影

响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。

二、核函数

-t kernel_type : set type of kernel function (default 2)
        0 -- linear: u'*v
        1 -- polynomial: (gamma*u'*v + coef0)^degree
        2 -- radial basis function: exp(-gamma*|u-v|^2)
        3 -- sigmoid: tanh(gamma*u'*v + coef0)

但有时我们需要使用自己的核函数，这时候可以用 -t 4参数来实现：

-t kernel_type : set type of kernel function (default 2)
        4 -- precomputed kernel (kernel values in training_instance_matrix)

使用-t 4参数时，再有了核函数后，需要给出核矩阵，关于核函数以及核函数构造相关的知识，大家可以看看相关书籍，在此不特别深入说明。

比如线性核函数 是 K(x,x') = (x * x')，设训练集是train_data，设训练集有150个样本 , 测试集是test_data，设测试集有120个样本
则 训练集的核矩阵是 ktrain1 = train_data*train_data' 
     测试集的核矩阵是 ktest1 = test_data*train_data'
想要使用-t 4参数还需要把样本的序列号放在核矩阵前面 ，形成一个新的矩阵，然后使用svmtrain建立支持向量机，再使用svmpredict进行预测即可。形式与使用其他-t参数少有不同，如下：

ktrain1 = train_data*train_data';
 
Ktrain1 = [(1:150)',ktrain1];
 
model_precomputed1 = svmtrain(train_label, Ktrain1, '-t 4');  % 注意此处的 输入 Ktrain1
 
ktest1 = test_data*train_data';
 
Ktest1 = [(1:120)', ktest1];
 
[predict_label_P1, accuracy_P1, dec_values_P1] = svmpredict(test_label,Ktest1,model_precomputed1); % 注意此处输入Ktest1

Remark:注意上面注释部分部分。

下面是一个整体的小例子，大家可以看一下：

%% Use_precomputed_kernelForLibsvm_example
% faruto
% last modified by 2011.04.20
%%
tic;
clear;
clc;
close all;
format compact;
%%
load heart_scale.mat;
% Split Data
train_data = heart_scale_inst(1:150,:);
train_label = heart_scale_label(1:150,:);
test_data = heart_scale_inst(151:270,:);
test_label = heart_scale_label(151:270,:);
 
%% Linear Kernel
model_linear = svmtrain(train_label, train_data, '-t 0');
[predict_label_L, accuracy_L, dec_values_L] = svmpredict(test_label, test_data, model_linear);
 
%% Precomputed Kernel One
% 使用的核函数 K(x,x') = (x * x')
% 核矩阵
ktrain1 = train_data*train_data';
Ktrain1 = [(1:150)',ktrain1];
model_precomputed1 = svmtrain(train_label, Ktrain1, '-t 4');
ktest1 = test_data*train_data';
Ktest1 = [(1:120)', ktest1];
[predict_label_P1, accuracy_P1, dec_values_P1] = svmpredict(test_label, Ktest1, model_precomputed1);
 
%% Precomputed Kernel Two
% 使用的核函数 K(x,x') = ||x|| * ||x'||
% 核矩阵
ktrain2 = ones(150,150);
for i = 1:150
    for j = 1:150
        ktrain2(i,j) = sum(train_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5;
    end
end
Ktrain2 = [(1:150)',ktrain2];
model_precomputed2 = svmtrain(train_label, Ktrain2, '-t 4');
 
ktest2 = ones(120,150);
for i = 1:120
    for j = 1:150
        ktest2(i,j) = sum(test_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5;
    end
end
Ktest2 = [(1:120)', ktest2];
[predict_label_P2, accuracy_P2, dec_values_P2] = svmpredict(test_label, Ktest2, model_precomputed2);
%% Precomputed Kernel Three
% 使用的核函数 K(x,x') = (x * x') / ||x|| * ||x'||
% 核矩阵
ktrain3 = ones(150,150);
for i = 1:150
    for j = 1:150
        ktrain3(i,j) = ...
        train_data(i,:)*train_data(j,:)'/(sum(train_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5);
    end
end
Ktrain3 = [(1:150)',ktrain3];
model_precomputed3 = svmtrain(train_label, Ktrain3, '-t 4');
 
ktest3 = ones(120,150);
for i = 1:120
    for j = 1:150
        ktest3(i,j) = ...
        test_data(i,:)*train_data(j,:)'/(sum(test_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5);
    end
end
Ktest3 = [(1:120)', ktest3];
[predict_label_P3, accuracy_P3, dec_values_P3] = svmpredict(test_label, Ktest3, model_precomputed3);
 
%% Display the accuracy
accuracyL = accuracy_L(1) % Display the accuracy using linear kernel
accuracyP1 = accuracy_P1(1) % Display the accuracy using precomputed kernel One
accuracyP2 = accuracy_P2(1) % Display the accuracy using precomputed kernel Two
accuracyP3 = accuracy_P3(1) % Display the accuracy using precomputed kernel Three
%%
toc;

运行结果：

Accuracy = 85% (102/120) (classification)
Accuracy = 85% (102/120) (classification)
Accuracy = 67.5% (81/120) (classification)
Accuracy = 84.1667% (101/120) (classification)
accuracyL =
    85
accuracyP1 =
    85
accuracyP2 =
   67.5000
accuracyP3 =
   84.1667
Elapsed time is 1.424549 seconds.

于核函数这里多说一下，核函数的正确选取依赖产生分类问题的实际问题的特点，因为不同的实际问题对相似程度有着不同的度量，核函数可以看作一个特征提取的过程，选择正确的核函数有助于提高分类准确率。
核函数的构造可以直接构造，也可以通过变换来得到。

三、问答

Libsvm官方FAQ地址：

http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html

此处给出的是部分的中文翻译，方便大家使用。

中文翻译版：

问: 我在那里能够找到libsvm的文件 ?

软件包中有一个 README 文件，里面详细说明了所有参数选项、数据格式以及库函数的调用。在python目录下，模型选择工具和python界面的libsvm各有一个README文件。 初学者可以通过A practical guide to support vector classification了解如何训练和检验数据.论文LIBSVM : a library for support vector machines详细讨论了libsvm的使用.

 

 

 

问: 以前版本的libsvm都有什么变化?
详见变化日志. 你可以到这里下载以前版本的libsvm.

 

 

 

 

问:为什么有时我在training/model 文件中看不到所有的数据属性呢？W

libsvm应用了所谓的”稀疏“格式，这样零值就不用存储了。例如，有下面属性的数据

1 0 2 0

将被替换为： 1:1 3:2

 

 

 

问:如果我的数据是非数值型的，可以用libsvm吗？

目前libsvm只支持数值型的数据。因此，你必须将非数值型的转为数值型的数据。比如，你可以用二进制属性来替代原来的类别属性。

 

 

 

 

问:为什么要采用稀疏格式呢? 密集数据在训练时候会不会很慢？
这是个具有争议的话题。将系数向量赋值给核函数是比较慢的，因此总的训练时间至少是采用密集格式的2倍或3倍。但是，我们不支持密集格式的数据，因为我们不能够处理极度稀疏的数据。代码的简洁也是我们考虑的一个因素。目前我们决定只支持稀疏格式的数据。

 

 

 

 

问：怎样选择核函数?
通常我们建议你首先采用RBF核函数。Keerthi 和 Lin 的最近的研究(下载论文) 表明如果模型选择RBF的话，
就没有必要再考虑线性核函数了。采用sigmoid核函数的矩阵不一定会正有界，而且通常它的准确性也不如RBF(可参见Lin和Lin的论文此处下载). 多项式核函数还不错，但是如果度数很高的话，数值困难就会发生
(考虑到(<1)的d次幂会趋向0，(>1)的d次幂会趋向无穷）

 

 

 

 

问: libsvm是否可以用来专门处理线性SVM？D
不是的，目前libsvm用同样的方法处理线性/非线性SVMs. 注意：如果采用线性核函数，一些技巧可能会节省训练/检验的
时间。 因此libsvm对线性SVM并不时特别有效,尤其是采用很大的C的问题，这些问题数据的数值比其属性值要大得多。
你可以： 
仅用很大的C.下面的论文表明了：当C大于一个确定的阀值以后，判决函数是相同的。

S.S. Keerthi and C.-J. Lin. Asymptoticbehaviors of support vector machines with Gaussian kernel.NeuralComputation, 15(2003), 1667-1689.
尝试用bsvm,它有个对解决线性SVMs很有效的方法.你可以在下面的研究中找到更详细的内容: 
K.-M. Chung, W.-C. Kao, T. Sun, and C.-J. Lin. Decomposition Methods for Linear Support Vector Machines. NeuralComputation, 16(2004), 1689-1704.
另外，你并没必要一定要解决线性SVMs.你可以参考前面有关如何选取核函数的问题。

 

 

 

 

问:将属性值限制到[0,1]，是否比限制到 [-1,1]有很大的不同?
对于线性规划方法，如果采用可RBF核函数并进行了参数的选择，两者是没什么不同的。假设Mi和mi分别代表第i个属性的
最大值和最小值.规划到[0,1]即：

x'=(x-mi)/(Mi-mi)对于[-1 1]：

x''=2(x-mi)/(Mi-mi)-1.在RBF核函数中：

x'-y'=(x-y)/(Mi-mi), x''-y''=2(x-y)/(Mi-mi).因此在[0,1]数据规划中用(C,g)，和[-1 1]数据规划中用(C,g/2)是一样的。 
尽管性能相同，但是计算机时间可能不同。对于有许多零入口的数据, [0,1]规划保持了输入数据的稀疏特性，因此可能
会节省计算时间。

 

 

 

 

问: 我的数据是不平衡的，libsvm能解决这样的问题吗？
可以。libsvm有一个-wi选项。例如，你用： 
svm-train -s 0 -c 10 -w1 1 -w-1 5 data_file 则对类别“-1”的惩罚就较大。注意-w选项仅用在C-SVC中。

 

 

 

 

问: nu-SVC和C-SVC有什么不同之处?
除了参数不同外，两者基本是一样的。C-SVC中，C的范围是0到无穷，nu-SVC中C的范围是[0 1]。 nu一个很好的
特性是：它与支持向量的比率和训练误差的比率相关。

 

 

 

 

问:对于多分类SVM，libsvm采用的是什么方法 ? 为什么不用"1-against-the rest" 法 ?
对于多分类，我们采用的是1against 1法.我们的选择建立在以下对比的基础上: C.-W. Hsu and C.-J. Lin. A comparison of methods for multi-class support vector machines, IEEE Transactions on Neural Networks, 13(2002), 415-425. "1agains1the rest"是个很好的方法，而且分类效果
和"1-against-1."可以相比。但是我们采用后者，因为它训练的时间更短。

 

 

 

 

问:如果我想解决L2-svm 问题(即二次方误差项). 我应该怎样修改代码 ?
这十分简单. 以c-svc为例, 在svm.cpp中只要修改两个地方即可. 第一, 将solve_c_svc中的：

s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,alpha, Cp, Cn, param->eps, si, param->shrinking);修改为：

s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,alpha, INF, INF, param->eps, si, param->shrinking);第二：在SVC_Q类中, 声明C为私有变量：

double C;在构造（constructor）中，将它赋给param.C: 
this->C = param.C;在子程序get_Q中, 在for循环之后，添加：

if(i >= start && i < len)data += 1/C;对于一分类svm，以上修改完全一样。对于SVR,上面的if语句就没有必要了，你只要用一个简单的赋值语句即可：

data[real_i] += 1/C;

 

 

转自：http://www.matlabsky.com/thread-12380-1-1.html

　　　http://www.matlabsky.com/thread-15296-1-1.html

　　　http://www.matlabsky.com/thread-15225-1-1.html