(更新libsvm-faruto版本归来)libsvm-3.1-[FarutoUltimate3.1Mcode]

faruto

【工具箱】

libsvm-3.1-[FarutoUltimate3.1Mcode]

其他名称：libsvm-faruto版本，libsvm-faruto加强工具箱，libsvm-farutoUltimate版本

【更新说明】

libsvm-faruto版本好久都没有更新了，近期我将代码重新整理了一下，看到注释中上次更新代码的时间是2010.01.17，才发现libsvm-faruto版本已经一年多没有添加进行更新，看着自己以前编写的一行行代码，心中不免想起过往那些逝去的岁月，想起过往的那些人，煽情的不多说，此次更新主要内容如下：

1.基于目前的最新的libsvm-3.1编写。
2.对原来的部分代码进行了重新优化。
3.添加ClassResult.m函数，方便给出各种分类准确率，以及给出判别函数的权值w、偏置b、支持向量在原始训练集中的位置索引以及alpha系数。
给出这个函数的目的是方便大家，个人感觉这个函数会对相关朋友有很大帮助。
4.重新编写说明文档TutorialForFarutoUltimate3.1.pdf

由于libsvm回归不支持多输出，本来还想实现libsvm的多输出（lssvm支持多输出，但我详细研究了一下lssvm也就是一维一维的进行回归实现的多输出，libsvm完全可以仿照这种形式实现多输出），但后来又犯懒，因为实在没有技术含量，就搁置了。如果实现有朋友需要就在后期的版本更新中添加吧。另外给大家做个预告，暑假期间我会制作一系列的关于libsvm工具箱和lssvm工具箱的视频，完全免费下载。之前在我的那个专辑期刊中做过预告，这里权当造势啦。O(∩_∩)O

ClassResult.m源代码

1. function CR = ClassResult(label, data, model, type)
   
2. % by faruto
   
3. % last modified 2011.06.09
   
4. % type 1：输入的data为训练节
   
5. %      2：输入的data为测试集
   
6. % 当输入的data为训练集时，需要事先在外部将标签转换为1，-1
   
7. %%
   
8. if nargin < 4
   
9.     type = 1;
   
10. end
    
11. CR = struct();
    
12. %%
    
13. [plabel,acc,dec] = svmpredict(label,data,model);
    
14. %% some info of the data set
    
15. disp('===some info of the data set===')
    
16. str = sprintf('#class is %d',model.nr_class);
    
17. disp(str)
    
18. lstr = ['类别标签为 '];
    
19. for i = 1:size(model.Label,1)
    
20.     lstr = [lstr, num2str(model.Label(i)),' '];
    
21. end
    
22. disp(lstr);
    
23. if type == 1
    
24.     str = ...
    
25.         sprintf('支持向量数目 %d,所占训练集样本数目比例 %g%% （%d/%d）',model.totalSV,model.totalSV/size(data,1)*100,model.totalSV,size(data,1));
    
26.     disp(str);
    
27.     ratio = model.totalSV/size(data,1)*100;
    
28.     if ratio >= 80
    
29.         disp('Tips:支持向量数目所占比例过大(>=80%),可以考虑重新优化参数')
    
30.     end
    
31. else
    
32.     str = ...
    
33.         sprintf('支持向量数目 %d',model.totalSV);
    
34.     disp(str);   
    
35. end
    
36. %% 各种分类准确率
    
37. disp('===各种分类准确率===');
    
38. CR.accuracy = zeros(1,size(model.Label,1)+1);
    
39. CR.accuracy(1) = sum(plabel == label)/numel(label);
    
40. str = ...
    
41.     sprintf('整体分类准确率 = %g%% (%d/%d)',CR.accuracy(1)*100,sum(plabel == label),numel(label));
    
42. disp(str)
    
43. for i = 1:numel(model.Label)
    
44.     p = 0;
    
45.     n = 0;
    
46.     for run = 1:numel(label)
    
47.         if label(run) == model.Label(i)
    
48.             if plabel(run) == model.Label(i)
    
49.                 p = p + 1;
    
50.             else
    
51.                 n = n + 1;
    
52.             end
    
53.         end
    
54.     end
    
55.     CR.accuracy(i+1) = p/(p+n);
    
56.     str = ...
    
57.         sprintf('第 %d 类分类准确率 = %g%% (%d/%d)',model.Label(i),CR.accuracy(i+1)*100,p,p+n);
    
58.     disp(str);
    
59. end
    
60. %%
    
61. if type == 1
    
62.     [tmp index]=ismember(model.SVs,data,'rows');
    
63.     CR.SVlocation = index;
    
64. end
    
65. %%
    
66. if numel(model.Label) == 2 && type == 1
    
67.     CR.b = -model.rho;
    
68.     CR.w = model.sv_coef;
    
69.     CR.alpha = zeros(size(model.sv_coef,1),1);
    
70.     for i = 1:size(model.sv_coef,1)
    
71.         CR.alpha(i) = CR.w(i)/label(CR.SVlocation(i));
    
72.     end
    
73. end
    

复制代码

ClassResult.m函数测试代码

1. %% ClassResult_test
   
2. % by faruto
   
3. %% a litte clean work
   
4. tic;
   
5. close all;
   
6. clear;
   
7. clc;
   
8. format compact;
   
9. %%
   
10. % load wine_test;
    
11. % label = train_data_labels;
    
12. % data = train_data;
    
13. 
    
14. load heart_scale;
    
15. data = heart_scale_inst;
    
16. label = heart_scale_label;
    
17. 
    
18. model = svmtrain(label,data);
    
19. %%
    
20. type = 1;
    
21. CR = ClassResult(label, data, model, type)
    
22. 
    
23. %%
    
24. toc;
    
25. 
    

复制代码

测试结果

1. Accuracy = 86.6667% (234/270) (classification)
   
2. ===some info of the data set===
   
3. #class is 2
   
4. 类别标签为 1 -1
   
5. 支持向量数目 132,所占训练集样本数目比例 48.8889% （132/270）
   
6. ===各种分类准确率===
   
7. 整体分类准确率 = 86.6667% (234/270)
   
8. 第 1 类分类准确率 = 80.8333% (97/120)
   
9. 第 -1 类分类准确率 = 91.3333% (137/150)
   
10. CR =
    
11.       accuracy: [0.8667 0.8083 0.9133]
    
12.     SVlocation: [132x1 double]
    
13.              b: -0.4245
    
14.              w: [132x1 double]
    
15.          alpha: [132x1 double]
    
16. Elapsed time is 0.023713 seconds.
    
17. >>

复制代码

【工具箱下载】

libsvm-3.1-[FarutoUltimate3.1Mcode].rar (1.16 MB, 下载次数: 697740)

2011-8-3 17:28 上传

点击文件名下载附件


【说明文档下载】

TutorialForFarutoUltimate3.1.pdf (232.37 KB, 下载次数: 97797)

2011-6-10 15:30 上传

点击文件名下载附件

geniusmk2

版主大大你好。
我最近拜读了您的《matlab神经网络43个案例分析》，现有一个问题，第16章回归预测分析中，您提供的代码

1. 
   
2. % 打印精细选择结果
   
3. disp('打印精细选择结果');
   
4. str = sprintf( 'Best Cross Validation MSE = %g Best c = %g Best g = %g',bestmse,bestc,bestg);
   
5. disp(str);
   
6. 
   
7. %% 利用回归预测分析最佳的参数进行SVM网络训练
   
8. cmd = ['-c ', num2str(bestc), ' -g ', num2str(bestg) , ' -s 3 -p 0.01'];
   
9. model = svmtrain(TS,TSX,cmd);
   
10. 
    
11. %% SVM网络回归预测
    
12. [predict,mse] = svmpredict(TS,TSX,model);
    
13. predict = mapminmax('reverse',predict',TSps);
    
14. predict = predict';
    
15. 
    
16. % 打印回归结果
    
17. str = sprintf( '均方误差 MSE = %g 相关系数 R = %g%%',mse(2),mse(3)*100);
    
18. disp(str);
    

复制代码

中

1. [predict,mse] = svmpredict(TS,TSX,model);

复制代码

这一句有问题，使用libsvm3.2不能运行这句。
不知道其他人是不是也有遇到这样的问题？

florakaka

楼主您好！我使用您的工具箱的时候出了点问题：
mex -setup
MEX 配置为使用 'Microsoft Visual C++ 2010 (C)' 以进行 C 语言编译。
警告: MATLAB C 和 Fortran API 已更改，现可支持
        包含 2^32-1 个以上元素的 MATLAB 变量。不久以后，
         您需要更新代码以利用
         新的 API。您可以在以下网址找到相关详细信息:
>>  mex -setup C++
MEX 配置为使用 'Microsoft Visual C++ 2010' 以进行 C++ 语言编译。
警告: MATLAB C 和 Fortran API 已更改，现可支持
        包含 2^32-1 个以上元素的 MATLAB 变量。不久以后，
         您需要更新代码以利用
         新的 API。您可以在以下网址找到相关详细信息:

make
使用 'Microsoft Visual C++ 2010' 编译。
MEX 已成功完成。
使用 'Microsoft Visual C++ 2010 (C)' 编译。
错误使用 mex
svm_model_matlab.c
D:\libsvm-3.1-[FarutoUltimate3.1Mcode]\matlabold\svm_model_matlab.c(8) : error C2371: “mwIndex”: 重定义；不同的基类型
        d:\program files(x86)\matlab\r2016a\extern\include\tmwtypes.h(796) : 参见“mwIndex”的声明



出错 make (line 6)
mex -O -largeArrayDims -I..\ -c svm_model_matlab.c

恳求大神指导！

gxyjdr

谢谢楼主分享！

hotonwu

敬佩faruto!!!辛苦了！

aoshuang

期待您能编写一个针对有偏数据集评估准则如AUC等的参数寻优函数

faruto

hotonwu 发表于 2011-6-10 15:41
敬佩faruto!!!辛苦了！

多谢您的支持~

faruto

aoshuang 发表于 2011-6-10 15:42
期待您能编写一个针对有偏数据集评估准则如AUC等的参数寻优函数

关于有偏数据集（un-balanaced label data）相关问题的参数寻优，我一直都列入计划更新中，只是我想更加系统化弄一下。O(∩_∩)O

aoshuang

回复 faruto 的帖子

哈哈 太好了 希望我这篇文章完成之前能看到您的程序更新 嘻嘻~~

faruto

aoshuang 发表于 2011-6-10 15:50
回复 faruto 的帖子

哈哈 太好了 希望我这篇文章完成之前能看到您的程序更新 嘻嘻~~

什么文章？

zhangym

楼主发帖辛苦了，谢谢楼主分享！
昨天发现MATLAB函数百科很赞，中文函数帮助果然强大哦

faruto

myisland 发表于 2011-6-10 22:11
灰常感谢，faruto，拜你为师……

不客气