《量化投资:以MATLAB为工具》

MATLAB技术论坛

 找回密码
 注册账号
查看: 26981|回复: 121
收起左侧

[教程] 【转】Matlab数据库编程指南-Godman

    [复制链接]
发表于 2010-9-28 21:28:38 | 显示全部楼层 |阅读模式
本帖最后由 faruto 于 2010-9-28 21:30 编辑

MATLAB数据库编程指南-Godman
Matlab与数据库链接有三种方法,本文只讲述其中以ODBC的方式进行链接。
本文件包含四部分,其中第三部分为我自己写的一些数据库函数操作的函数,第四部分为网上的一些资料。
如有疑问可以邮件联系 tntuyh@163.com
Godman
2009.3.30 Good Luck
第一部分:读取数据其相关信息查看
1.
配置数据源
“控制面板”----“管理工具”——“数据源(ODBC)”——“添加”——“创建数据源名称和选择数据库文件”(具体操作见GIF图片操作)。
2.
建立链接对象——database
调用格式:
conna=database(‘datasourcename’,’username’,’password’);
conna=database('SampleDB','','');其中SampleDB为上文中创建的数据源名称,当默认情况下,数据库文件的usernamepassword为空。
3.
建立并打开游标——exec
调用格式:
curs=exec(conna,'sqlquery')
curs=exec(conna,'select *from database')
其中conna为上文中链接对象,select * from database表示从表database中选择所有的数据.
4.
把数据库中的数据读取到Matlab中——fetch
调用格式:
curs=fetch(curs,RowLimit);
Data=curs.Data%把读取到的数据用变量Data保存.
curs=fetch(curs)
把所有的数据一次全部读取到Matlab中,RowLimit为每次读取的数据参数的行数,默认为全部读取,但是全部读取会很费时间(和计算机性能很大关系)。
上述四点是matlab从数据库文件中读取数据到matlab中的基本步骤。
5.
数据返回类型
从数据库中读取数据到matlab有三种数据类型(默认为元胞类型cellarray),分别为元胞类型(cellarray),数字型(numeric),结构型(structure)。可以在链接数据库之前通过setdbprefs函数来进行设置。如果数据库文件中全部是数值型数据时最好采用numeric型的数据,这样可以使得读取速度大幅提高,特别是在大型数据读取时非常明显。我曾经从数据库中读取过100万个数据,用cellarray时用了16s,但是用numeric时却只用了8s,速度提高很大啊,对电脑配置不好的来说,很有帮助的。(还有我的电脑很烂,1.3GHz384M内存,可能让大家见笑了…….
调用格式:
setdbprefs(‘datareturnformat’,’numric’)
6.
养成良好习惯,随手关闭链接对象和游标——close
当不再使用数据库的链接对象时要及时关闭,这样才能及时的释放出内存,而且每次链接后所需要的内存量是非常大的,要是不及时关闭的话对后续计算的影响将非常非常的大。( 针对烂机子而言,要是你的电脑超强也无所谓的…..)
调用格式:
close(curs)
close(conna)
7.
查看数据相关信息
Rows-查看数据行数
调用格式:numrows=rows(curs)
Cols——查看数据列数
调用格式:numcols=cols(curs)
Attr——查看数据属性
调用格式:attribute=attr(curs)

第二部分:把数据写入到数据库中
8.
添加数据到表中——insert函数
调用格式:
insert(conna,’tab’,colnames,exdata)
conna——链接对象
tab——数据库文件的表名
colnames——数据库表的列名
exdata——matlab变量
如:insert(conna,'try',{'a1', 'a2'},[45 65])

commit(conna)%
确认数据更改
9.
更新数据库中的数据——update
调用格式:
update(conna,’tab’,colnames,exdata,’whereclause’)
conna——链接对象
tab——数据库文件的表名
colnames——数据库表的列名
exdata——matlab变量
whereclause——SQLwhere字句
如:update(conna,'try',{'a1', 'a2'},[45 65],’where XX=’XX’’)
commit(conna)%确认数据更改
10.
建立新表——exec,creat table
调用格式:
conna=database('SampleDB','','');
exec(conna,['create table Table(name string,age int)']);
close(conna);
Table——表名
nameage——字段名

以上部分是从董振海写的《精通MATLAB7编程与数据库应用》中根据我使用databasetoolbox的经验摘抄的,在此向作者致谢。






第三部分:自己写的相关函数
下面是我在matlab的数据库分析项目的过程中自己写的和用到的关于数据库操作的相关函数的介绍:
11.
把数据写入到txt文件中.
调用格式:
data=rand(100,100);
dlmwrite('data.txt',data,'delimiter',' ','newline','pc');
由于matlab的数据类型默认为双精度的,写入到txt中也是双精度的,此时可以用下面操作来减少有效位数从而减小文件大小。
data=fix(10000*data)/10000;
这样保存的txt文件要更小一些.
12.
把字符串分隔为cell数据——StrSpliteToCell
调用格式:
StrSpliteToCell(Str1,Str2)
Str1为字符串源,str2为分隔号
如:
DataPath ='D:\Program Files\MATLAB71\work\data.txt'
Str='\'
StrSpliteToCell(DataPath, Str)
ans =


'D:'
'Program Files'
'MATLAB71'
'work'
'data.txt'
13.
cell数据用字符分隔——CellStrJoinWithSeparator
a={'D:'
'ProgramFiles'
'MATLAB71'
'work'
'data.txt'}
Str=CellStrJoinWithSeparator(a,'\')
Str =


Message: ''

ErrNum: 0

ans: 'D:\Program Files\MATLAB71\work\data.txt'
14.
txt文件中的数据写到数据库中
由于matlab直接向数据库中保存数据时非常非常的费时,曾经用matlab直接向数据库中写数据时,100万个数据运行了20多分钟还没完,等的太久了就结束了……..
所以想到了先把数据保存为txt,再从txt写到数据库文件中,这样这样做的时间花费相对直接写来说几乎可以忽略了

把上面的data.txt中的数据写到数据库文件中
conna=database('SampleDB','','');
DataPath='D:\Program Files\MATLAB71\work\data.txt'
f=CreateSchema(DataPath)
Txt2Access(conna,DataPath)
close(conna)

CreateSchema.m是一个写配置文件的函数
Txt2Access.m是把数据写到数据库中
第四部分:其他参考资料
Database Toolbox 2
和关系数据库进行数据交换
Database 工具箱可以使你使用MATLAB 的数据分析
和可视化工具对存储在数据库中的数据进行分析。在
MATLAB 工作环境中, 您可以使用结构化查询语言进
行:
■ 对数据库中的数据进行读写
■ 使用约束条件对数据库进行操作
您可以在MATLAB 中和绝大多数的数据库进行交
互, 包括Oracle、Sybase、Microsoft SQL Server、
MySQL、PostgreSQL 以及MicrosoftAccess 。该工具箱
还允许您在单个的MATLAB 任务中同时存取多个数据
库并且支持事务特性。它包含了Visual Query Builder
( 可视化查询工具), 它可以使您在不熟悉SQL 的情
况下和数据库进行交互。
Visual Query Builder
可以快速对您的数据
进行存取和图表显示
关键特性
■ 支持ODBC/JDBC 连接的数据库接口
包括Oracle、Sybase、Microsoft SQL
Server、MySQL、PostgreSQL 以及
Microsoft Access
■ 从MATLAB 中直接执行查询语句
■ 对于大数据量查询, 将增量获取数据
■ 在所有的数据导入和导出的过程中,
保留数据类型
■ 单个的MATLAB 任务中可以同时
存取多个数据库
■ 从一个数据库中导入数据,完成计
算后, 将结果输出到另外一个数据库
■ 在单个事务中获取大数据集, 或者分
割数据, 通过多个事务来完成
■ 通过在一个MATLAB 会话中保持数
据库连接来减少需要进行输入和输出
数据所需要的语句, 除非数据库连接
被显式关闭
■ 它可以使您在不熟悉SQL 的情况下
和数据库进行交互
在MATLAB 中对Microsoft Access 数据库进行查询
数据库工具箱函数列表
数据库访问函数
clearwarnings 清除数据库连接警告
close 关闭数据库连接
commit 数据库改变参数
database 连接数据库
exec 执行SQL语句和打开油标
get 得到数据库属性
insert 导出MATLAB单元数组数据到数据库表
isconnection 判断数据库连接是否有效
isreadonly 判断数据库连接是否只读
ping 得到数据库连接信息
rollback 撤销数据库变化
set 设置数据库连接属性
sql2native 转换JDBC SQL 语法为系统本身的SQL语法
update 用MATLAB单元数组数据代替数据库表的数据
数据库游标访问函数
attr 获得的数据集的列属性
close 关闭游标
cols 获得的数据集的列数值
columnnames 获得的数据集的列名称
fetch 导入数据到MATLAB单元数组
get 得到游标对象属性
querytimeout 数据库SQL查询成功的时间
rows 获取数据集的行数
set 设置游标获取的行限制
width 获取数据集的列宽
数据库元数据函数
bestrowid 得到数据库表唯一行标识
columnprivileges 得到数据库列优先权
columns 得到数据库表列名称
crossreference 得到主健和外健信息
dmd 创建数据库元数据对象
exportedkeys 得到导出外部健信息
get 得到数据库元数据属性
importedkeys 得到导入外健信息
indexinfo 得到数据库表的索引和统计
primarykeys 从数据库表或结构得到主健信息
procedurecolumns 得到目录存储程序参数和结果列
procedures 得到目录存储程序
supports 判断是否支持数据库元数据
tableprivileges 得到数据库表优先权
tables 得到数据库表名称
versioncolumns 得到自动更新表列

数据库工具箱让用户使用MATLAB强大数据分析和可视化工具功能处理存储在数据库中的数据的复杂分析。在MATLAB环境下工作,可以用结构化查询语言SQL)命令:
读,写数据库的数据
简单和高级条件的数据查询
连接MATLAB和数据库包括Oracle,Sybase,MicrosoftSQL Server和Informix。
可以用单一MATLAB同时访问多个数据库,进行大数据量的事务处理。不懂SQL的用户可以用Visual Query Builder处理数据。
重点
鲁棒接口能力。 用ODBC/JDBC连接数据库,包括Oracle,SybaseSQL Server,Sybase SQL Anywhere,Microsoft SQL Server, Microsoft Access,
Informix Ingres.
SQL语法。 在MATLAB环境直接执行SQL查询
动态导入数据。 调节SQL查询,把数据导入MATLAB。数据库工具箱满足小的和大的查询。
数据类型保存。 在数据导入和导出行为MATLAB保存数据类型
同时访问多个数据库。 从数据库导入数据,对该数据执行计算,然后导入到另一个数据库。
处理大数据集的能力。
连续状态的数据库连接:一旦和某个数据库的连接建立后,数据库一直是打开的,除非在MATLAB中执行关闭语句。这提高了数据库的读取速度,减少了不必要的命令来调入,输出数据 Visual Query Builder. 该图形用户接口列数据源和所有表和字段,不懂SQL的用户可以访问和查询数据库函数列表
数据库访问函数
clearwarnings 清除数据库连接警告
close 关闭数据库连接
commit 数据库改变参数
database 连接数据库
exec 执行SQL语句和打开油标
get 得到数据库属性
insert 导出MATLAB单元数组数据到数据库表
isconnection 判断数据库连接是否有效
isreadonly 判断数据库连接是否只读
ping 得到数据库连接信息
rollback 撤销数据库变化
set 设置数据库连接属性
sql2native 转换JDBC SQL 语法为系统本身的SQL语法
update 用MATLAB单元数组数据代替数据库表的数据
数据库游标访问函数
attr 获得的数据集的列属性
close 关闭游标
cols 获得的数据集的列数值
columnnames 获得的数据集的列名称
fetch 导入数据到MATLAB单元数组
get 得到游标对象属性
querytimeout 数据库SQL查询成功的时间
rows 获取数据集的行数
set 设置游标获取的行限制
width 获取数据集的列宽
数据库元数据函数
bestrowid 得到数据库表唯一行标识
columnprivileges 得到数据库列优先权
columns 得到数据库表列名称
crossreference 得到主健和外健信息
dmd 创建数据库元数据对象
exportedkeys 得到导出外部健信息
get 得到数据库元数据属性
importedkeys 得到导入外健信息
indexinfo 得到数据库表的索引和统计
primarykeys 从数据库表或结构得到主健信息
procedurecolumns 得到目录存储程序参数和结果列
procedures 得到目录存储程序
supports 判断是否支持数据库元数据
tableprivileges 得到数据库表优先权
tables 得到数据库表名称
versioncolumns 得到自动更新表列
MATLABER曰:
这是个很经典的介绍,
因为它涉及到MATLAB在金融学中的应用,甚至利用它可以作出很好的财务软件.
zhimingchen曰:Visual Query Builder 不支持汉字,所以我觉得使用 Visual Query Builder 不是最好的方法;使用DAO,特别ADO是一种很好方法,可以做到与数据库无关;请看我的一个访问数据库的实例:
function Table=GetTable(ConnectionStr,SqlStr)
%ConnectionStr为连接串,比如可以设置ConnectionStr='DataSource=HistryData2.0;
Pr
ovider=MSDASQL;User ID=Admin;Password=;'
%SqlStr为SQL语句,
% 利用ADO调用数据源
try
MyConnection=actxserver('ADODB.Connection');
MyConnection.ConnectionString=ConnectionStr;
invoke(MyConnection,'Open');
MyRecordset=invoke(MyConnection,'Execute',SqlStr);
     
%域信息
Fields=MyRecordset.Fields;
%域个数
FieldNumber=Fields.Count;
FieldNames=cell(1,FieldNumber);
%获取数据
% invoke(MyRecordset,'MoveFirst');
Data=invoke(MyRecordset,'GetRows');
MyRecordset.Source;
%记录行数
RecordCount=size(Data,2);
for i=1:size(FieldNames,2)
    TempField=get(Fields,'Item',i-1);
    FieldNames{i}=TempField.Name;
end
%给Table赋植
Table.RecordCount=RecordCount;
Table.FieldNames=FieldNames;
Table.Data=Data;
invoke(MyRecordset,'Close');
invoke(MyConnection,'Close');
catch
    msgbox(lasterr,'Tint');
    Table.Data={};
end

一、通过MATLAB 提供的数据库引擎,以下是MATLAB ,DATABASE TOOLBOX中的例子,
通过ODBC/JDBC 接口访问具体的数据库
function dbimportdemo()
%DBIMPORTDEMO Imports data into Matlab from a database.

% Version 1.0 21-Oct-1997
% Author(s): E.F. McGoldrick, 12/5/1997
% Copyright (c) 1984-2001 The MathWorks, Inc.

% $Revision: 1.7 $ $Date: 2001/01/12 16:22:06 $

% Set maximum time allowed for establishing a connection.

timeoutA=logintimeout(5)

% Connect to a database.
%打开数据源 SampleDB
connA=database('SampleDB','','')

% Check the database status.

ping(connA)

% Open cursor and execute SQL statement.
%执行SQL查询语句
cursorA=exec(connA,'select country from customers');

% Fetch the first 10 rows of data.
%获取前十行数据
cursorA=fetch(cursorA,10)

% Display the data.
%显示
AA=cursorA.Data

% Close the cursor and the connection.
%关闭
close(cursorA)
close(connA)
二、通过DAO访问数据库(DAO技术适合于访问ACCESS 2000以下版本的数据库,优点是功

齐全,具体可以参考MSDN关于DAO的帮助),以下是我自己摸索出来的,在MATLAB帮助文

中有关于如何调用EXCEL组件的方法。

Handle=actxserver('DAO.DBEngine.36');
MyWSS=get(Handle,'Workspaces')
Count=get(MyWSS,'Count')
MyWS=get(MyWSS,'Item',0)
%打开数据库
MyDB=invoke(MyWS,'OpenDatabase','D:\My Documents\test.mdb')
%打开数据库的表,得到一个指向记录集的指针
MyRS=invoke(MyDB,'OpenRecordset','用户')
%获取“用户”表的前十行数据
MyRows=invoke(MyRS,'GetRows','10')
%关闭
invoke(MyRS,'Close')
invoke(MyDB,'Close')
invoke(MyWS,'Close')

三、ADO技术(微软建议ACCESS 2000及以上版本的数据库应尽量通过ADO访问,优点是可

通过较少的对象访问数据库,ADO与今后微软的数据库技术发展方向一致,目前支持的功

稍微少了一些)具体访问的可以参考MSDN的帮助文件和ADO 类型库的方法原型。
四、通过dde进行动态数据交换,可以查看help

五、通过activex控件


===========================
文档函数整理下载

Matlab数据库编程指南-Godman.rar (14.95 KB, 下载次数: 179)
发表于 2015-12-26 15:08:23 | 显示全部楼层
支持  看看  多谢
回复 支持 反对

使用道具 举报

发表于 2016-6-16 16:58:25 | 显示全部楼层
谢谢楼主提供这么高质量的好帖。
回复 支持 反对

使用道具 举报

发表于 2016-12-16 14:37:20 | 显示全部楼层
内容非常不错,谢谢分享。
回复 支持 反对

使用道具 举报

发表于 2010-10-1 03:17:47 | 显示全部楼层
呵呵,楼主总结的太好了
发表于 2010-10-3 09:47:17 | 显示全部楼层
我看不错噢 谢谢楼主 > "" “” '
MATLAB技术论坛 一切皆有可能

点评

o(∩_∩)o  发表于 2010-10-3 15:32
发表于 2011-1-9 15:29:06 | 显示全部楼层
谢谢你的总结,很受用!!
 楼主| 发表于 2011-1-9 20:15:03 | 显示全部楼层
回复 zhouyubuling 的帖子

好的,不客气,有问题可以一起探讨。O(∩_∩)O~
发表于 2011-2-9 17:12:35 | 显示全部楼层
谢谢楼主,matlab读取database的数据真的很方便
 楼主| 发表于 2011-2-10 10:16:42 | 显示全部楼层
oxwolf 发表于 2011-2-9 17:12
谢谢楼主,matlab读取database的数据真的很方便

O(∩_∩)O
发表于 2011-2-10 17:41:38 | 显示全部楼层
这个总结的是在是好,赞一个
 楼主| 发表于 2011-2-10 18:11:11 | 显示全部楼层
liudao 发表于 2011-2-10 17:41
这个总结的是在是好,赞一个

O(∩_∩)O~
发表于 2011-3-9 16:24:24 | 显示全部楼层
楼主总结的很好啊,学习了,十分感谢
您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

QQ|网站地图|MATLAB技术论坛|Simulink仿真论坛 ( 蜀ICP备19014457号 

GMT+8, 2020-10-25 16:48 , Processed in 0.071491 second(s), 15 queries , Gzip On, MemCached On.

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表