《量化投资:以MATLAB为工具》

MATLAB技术论坛

 找回密码
 注册账号
查看: 131175|回复: 168
收起左侧

[教程] 如何使用libsvm进行分类

    [复制链接]
发表于 2010-12-27 23:53:12 | 显示全部楼层 |阅读模式
本帖最后由 faruto 于 2011-1-6 17:38 编辑

这帖子就是初步教教刚接触libsvm(svm)的同学如何利用libsvm进行分类预测,关于参数寻优的问题在这里姑且不谈,另有帖子详述。

其实使用libsvm进行分类很简单,只需要有属性矩阵和标签,然后就可以建立分类模型(model),然后利用得到的这个model进行分类预测了。

那神马是属性矩阵?神马又是标签呢?我举一个直白的不能在直白的例子:
说一个班级里面有两个男生(男生1、男生2),两个女生(女生1、女生2),其中
男生1 身高:176cm 体重:70kg;
男生2 身高:180cm 体重:80kg;

女生1 身高:161cm 体重:45kg;
女生2 身高:163cm 体重:47kg;

如果我们将男生定义为1,女生定义为-1,并将上面的数据放入矩阵data中,即

  1. data = [176 70;
  2. 180 80;
  3. 161 45;
  4. 163 47];
复制代码
在label中存入男女生类别标签(1、-1),即

  1. label = [1;1;-1;-1];
复制代码
这样上面的data矩阵就是一个属性矩阵,行数4代表有4个样本,列数2表示属性有两个,label就是标签(1、-1表示有两个类别:男生、女生)。

Remark:这里有一点废话一些(因为我看到不止一个朋友问我这个相关的问题):
上面我们将男生定义为1,女生定义为-1,那定义成别的有影响吗?
这个肯定没有影响啊!(
用脚趾头都能想出来,我不知道为什么也会有人问),这里面的标签定义就是区分开男生和女生,怎么定义都可以的,只要定义成数值型的就可以。
比如我可将将男生定义为2,女生定义为5;后面的label相应为label=[2;2;5;5];
比如我可将将男生定义为18,女生定义为22;后面的label相应为label=[18;18;22;22];

为什么我说这个用脚趾头都能想怎么定义都可以呢?学过数学的应该都会明白,将男生定义为1,女生定义为-1和将男生定义为2,女生定义为5本质是一样的,应为可以找到一个映射将(2,5)转换成(1,-1),so所以本质都是一样的,后面的18、22本质也是一样的。
这里要多说一些,如果你原本的数据集合的标签不是数值型的(比如a、b、c)那么你完全可以通过某种转换映射将不是数值型的标签转换成数值型的。


现在回归正题,有了上面的属性矩阵data,和标签label就可以利用libsvm建立分类模型了,简要代码如下:

  1. model = svmtrain(label,data);
复制代码
有了model我们就可以做分类预测,比如此时该班级又转来一个新学生,其
身高190cm,体重85kg
我们想通过上面这些信息就给出其标签(想知道其是男【1】还是女【-1】)
比如 令 testdata = [190 85]; 由于其标签我们不知道,我们假设其标签为-1(也可以假设为1)
Remark:这里又有一点废话一些(因为我看到不止一个朋友问我这个相关的问题):
如果测试集合的标签没有怎么办?测试集合的标签就应该没有,否则测试集合的标签都有了,还预测你妹啊!?没有是正确的,就像上面一样,新来的学生其标签咱不应知道,就想通过其属性矩阵来预测其标签,这才是预测分类的真正目的。
之所以平时做测试时,测试集合的标签一般都有,那是因为一般人们想要看看自己的分类器的效果如何,效果的评价指标之一就是分类预测的准确率,这就需要有测试集的本来的真实的标签来进行分类预测准确率的计算。


话归正传,即
testdatalabel = -1;

然后利用libsvm来预测这个新来的学生是男生还是女生,代码如下:

  1. [predictlabel,accuracy] = svmpredict(testdatalabel,testdata,model)
复制代码
下面我们整体运行一下上面这段恶 搞[e gao]的背景数据和代码(你别笑,这个是真能运行的,也有结果的):

  1. data = [176 70;
  2. 180 80;
  3. 161 45;
  4. 163 47];
  5. label = [1;1;-1;-1];

  6. model = svmtrain(label,data);

  7. testdata = [190 85];
  8. testdatalabel = -1;

  9. [predictlabel,accuracy] = svmpredict(testdatalabel,testdata,model);
  10. predictlabel
复制代码
运行结果如下:

  1. Accuracy = 0% (0/1) (classification)
  2. predictlabel =
  3.      1
复制代码
哎,我们看到,通过预测我们得知这个新来的学生的标签是1(男生),由于原本我们假设其标签为-1,假设错误,所以分类准确率为0%。


好,通过上面的讲解,不知道诸位看官对于利用libsvm进行分类是否有了一定了解【谁要是这么通俗的例子还搞不清楚怎么使用libsvm进行分类,那我真无语啦】,下面使用libsvm工具箱本身带的测试数据heart_scale来实际进行一下测试:
  1. %% HowToClassifyUsingLibsvm
  2. % by faruto @ faruto's Studio~
  3. % http://blog.sina.com.cn/faruto
  4. % Email:faruto@163.com
  5. % http://www.MATLABsky.com
  6. % http://www.mfun.la
  7. % http://video.ourmatlab.com
  8. % last modified by 2010.12.27
  9. %% a litte clean work
  10. tic;
  11. close all;
  12. clear;
  13. clc;
  14. format compact;
  15. %%

  16. % 首先载入数据
  17. load heart_scale;
  18. data = heart_scale_inst;
  19. label = heart_scale_label;

  20. % 选取前200个数据作为训练集合,后70个数据作为测试集合
  21. ind = 200;
  22. traindata = data(1:ind,:);
  23. trainlabel = label(1:ind,:);
  24. testdata = data(ind+1:end,:);
  25. testlabel = label(ind+1:end,:);

  26. % 利用训练集合建立分类模型
  27. model = svmtrain(trainlabel,traindata,'-s 0 -t 2 -c 1.2 -g 2.8');

  28. % 分类模型model解密
  29. model
  30. Parameters = model.Parameters
  31. Label = model.Label
  32. nr_class = model.nr_class
  33. totalSV = model.totalSV
  34. nSV = model.nSV

  35. % 利用建立的模型看其在训练集合上的分类效果
  36. [ptrain,acctrain] = svmpredict(trainlabel,traindata,model);

  37. % 预测测试集合标签
  38. [ptest,acctest] = svmpredict(testlabel,testdata,model);

  39. %%
  40. toc;
复制代码
运行结果:

  1. model =
  2.     Parameters: [5x1 double]
  3.       nr_class: 2
  4.        totalSV: 197
  5.            rho: 0.0583
  6.          Label: [2x1 double]
  7.          ProbA: []
  8.          ProbB: []
  9.            nSV: [2x1 double]
  10.        sv_coef: [197x1 double]
  11.            SVs: [197x13 double]
  12. Parameters =
  13.          0
  14.     2.0000
  15.     3.0000
  16.     2.8000
  17.          0
  18. Label =
  19.      1
  20.     -1
  21. nr_class =
  22.      2
  23. totalSV =
  24.    197
  25. nSV =
  26.     89
  27.    108
  28. Accuracy = 99.5% (199/200) (classification)
  29. Accuracy = 68.5714% (48/70) (classification)
  30. Elapsed time is 0.040873 seconds.
  31. >>
复制代码
上面的代码基本我不想多说什么。
只是说一下参数输入的意义:
  -s svm类型:SVM设置类型(默认0)
  0 -- C-SVC
  1 --v-SVC
  2 – 一类SVM
  3 -- e -SVR
  4 -- v-SVR
  -t 核函数类型:核函数设置类型(默认2)
  0 – 线性:u'v
  1 – 多项式:(r*u'v + coef0)^degree
  2 – RBF函数:exp(-r|u-v|^2)
  3 –sigmoid:tanh(r*u'v + coef0)

-g r(gama):核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数)

-c cost:设置C-SVC,e -SVR和v-SVR的参数(损失函数)(默认1)


更多关于libsvm 参数的说明请看
libsvm 参数说明【中英文双语版本】
http://www.matlabsky.com/thread-12380-1-1.html

还有关于建立的分类模型model
  1. model =

  2.     Parameters: [5x1 double]

  3.       nr_class: 2

  4.        totalSV: 197

  5.            rho: 0.0583

  6.          Label: [2x1 double]

  7.          ProbA: []

  8.          ProbB: []

  9.            nSV: [2x1 double]

  10.        sv_coef: [197x1 double]

  11.            SVs: [197x13 double]
复制代码
因为好多朋友反映说,比如想得到支持向量,还有model中的一些参看看不懂等等等等一些列问题,会在后面的
分类模型model解密详解中说明

利用libsvm-mat建立分类模型model参数解密【by faruto】

http://www.matlabsky.com/thread-12649-1-1.html

所以也希望诸位看官尤其是对svm感兴趣的朋友多多关注我。O(∩_∩)O~

如果对于标签设置问题您还没有搞懂可以再看看这个:
【转】Matlab中使用libsvm进行分类预测时的标签问题再次说明
http://www.matlabsky.com/thread-12396-1-1.html


更多关于SVM的东西请看:

关于SVM的那点破事[长期更新整理 by faruto]
http://www.matlabsky.com/thread-10966-1-1.html

评分

参与人数 1贝壳 +1 贡献 +2 收起 理由
ppk + 1 + 2 感谢您分享自己珍贵的资料

查看全部评分

发表于 2014-5-14 11:45:35 | 显示全部楼层
对于男女分类问题[predictlabel,accuracy] = svmpredict(testdatalabel,testdata,model);
Usage: [predicted_label, accuracy, decision_values/prob_estimates] = svmpredict(testing_label_vector, testing_instance_matrix, model, 'libsvm_options')
        [predicted_label] = svmpredict(testing_label_vector, testing_instance_matrix, model, 'libsvm_options')
Parameters:
   model: SVM model structure from svmtrain.
   libsvm_options:
     -b probability_estimates: whether to predict probability estimates, 0 or 1 (default 0); one-class SVM not supported yet
     -q : quiet mode (no outputs)
Returns:
   predicted_label: SVM prediction output vector.
   accuracy: a vector with accuracy, mean squared error, squared correlation coefficient.
   prob_estimates: If selected, probability estimate vector.
>> predictlabel

predictlabel =

      []

>> accuracy

accuracy =

      []
搞到解决方案:最后两条条程序改为 [predicted_label,accuracy,dec_values] = svmpredict(testdatalabel,testdata,model);predicted_label即可。optimization finished, #iter = 3
nu = 0.990884
obj = -1.981851, rho = -0.009074
nSV = 4, nBSV = 0
Total nSV = 4
Accuracy = 100% (1/1) (classification)

predicted_label =

     1
我标签整的是1.
回复 支持 3 反对 0

使用道具 举报

发表于 2011-2-27 11:24:40 | 显示全部楼层
回复 faruto 的帖子

那个男的变女的现象,大神解释一下!!
回复 支持 0 反对 2

使用道具 举报

发表于 2011-2-27 11:20:54 | 显示全部楼层
楼主这个神马例子说明了神马是分类。这两天刚开始玩SVM工具箱,对于有些理论神马都不懂。今早修改了一下楼主上面的程序,神马现象?关于那个概率估计问题。有两行改为:model = svmtrain(label,data,'-b 1');[predictlabel,accuracy,estimate] = svmpredict(testdatalabel,testdata,model,'-b 1');
神马情况,男的变女的了。楼主可否解释一下。为何在概率估计模型下,会有这种突变。假设D是样本集合,这个概率指的是P(y=1|D),和P(y=-1|D)吗?所为的后验的概率。但是怎么会P(y=-1|D)>P(y=1|D)?奇怪啊!!!
求解????
回复 支持 0 反对 2

使用道具 举报

发表于 2010-12-28 17:19:55 | 显示全部楼层
y=wx+b方程是可以表示.:
% w = model.SVs' * model.sv_coef;
% b =
-model.rho;
按照你以前的讲解,这样表示好像不对!
回复 支持 1 反对 0

使用道具 举报

发表于 2010-12-28 00:34:53 | 显示全部楼层
发表于 2010-12-28 15:30:14 | 显示全部楼层
model中的一些参看看不懂,期待你的解密!
 楼主| 发表于 2011-1-6 17:37:52 | 显示全部楼层
发表于 2011-1-13 21:43:25 | 显示全部楼层
多谢楼主,顶一个!学习了。
 楼主| 发表于 2011-1-13 22:52:03 | 显示全部楼层
回复 happyzhu 的帖子

不客气,有问题一起探讨。O(∩_∩)O~
发表于 2011-2-27 11:23:13 | 显示全部楼层
关于这个 probabiliy estimates,我觉得有趣,大家聊聊到底是个什么情况啊?还是我太迟钝,一时没有想过来。
您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

QQ|网站地图|MATLAB技术论坛|Simulink仿真论坛 ( 蜀ICP备19014457号-2 

GMT+8, 2021-12-2 23:02 , Processed in 0.052501 second(s), 11 queries , Gzip On, MemCached On.

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表