量化投资:MATLAB数据挖掘技术与实践

第1篇 基础篇
第1章 绪论 2
1．1 量化投资与数据挖掘的关系 2
1．1．1 什么是量化投资 2
1．1．2 量化投资的特点 3
1．1．3 量化投资的核心――量化模型 4
1．1．4 量化模型的主要产生方法――数据
挖掘 6
1．2 数据挖掘的概念和原理 7
1．2．1 什么是数据挖掘 7
1．2．2 数据挖掘的原理 8
1．3 数据挖掘在量化投资中的应用 9
1．3．1 宏观经济分析 9
1．3．2 估价 11
1．3．3 量化选股 11
1．3．4 量化择时 11
1．3．5 算法交易 12
1．4 本章小结 13
参考文献 13
第2章 数据挖掘的内容、过程及
工具 14
2．1 数据挖掘的内容 14
2．1．1 关联 14
2．1．2 回归 15
2．1．3 分类 16
2．1．4 聚类 17
2．1．5 预测 18
2．1．6 诊断 19
2．2 数据挖掘的过程 20
2．2．1 数据挖掘过程的概述 20
2．2．2 目标的定义 20
2．2．3 数据的准备 21
2．2．4 数据的探索 22
2．2．5 模型的建立 24
2．2．6 模型的评估 27
2．2．7 模型的部署 28
2．3 数据挖掘工具 29
2．3．1 MATLAB 29
2．3．2 SAS 30
2．3．3 SPSS 31
2．3．4 WEKA 32
2．3．5 R 33
2．3．6 工具的比较与选择 34
2．4 本章小结 35
参考文献 35
第3章 MATLAB快速入门及
实用技巧 36
3．1 MATLAB快速入门 36
3．1．1 MATLAB概要 36
3．1．2 MATLAB的功能 37
3．1．3 快速入门案例 38
3．1．4 入门后的提高 45
3．2 MATLAB常用技巧 45
3．2．1 常用标点的功能 45
3．2．2 常用操作指令 45
3．2．3 指令编辑操作键 46
3．2．4 MATLAB中的数据类型 46
3．3 MATLAB的开发模式 47
3．3．1 命令行模式 47
3．3．2 脚本模式 47
3．3．3 面向对象模式 47
3．3．4 三种模式的配合 48
3．4 本章小结 48
第2篇 技术篇
第4章 数据的准备 51
4．1 数据的收集 51
4．1．1 认识数据 51
4．1．2 数据挖掘的数据源 52
4．1．3 数据抽样 53
4．1．4 量化投资的数据源 54
4．1．5 从雅虎获取交易数据 56
4．1．6 从大智慧获取公司财务数据 58
4．1．7 从Wind中获取高质量数据 59
4．2 数据质量分析 61
4．2．1 数据质量分析的必要性 61
4．2．2 数据质量分析的目的 61
4．2．3 数据质量分析的内容 61
4．2．4 数据质量分析的方法 62
4．2．5 数据质量分析的结果及应用 66
4．3 数据预处理 66
4．3．1 为什么需要数据预处理 66
4．3．2 数据预处理的主要任务 67
4．3．3 数据清洗 68
4．3．4 数据集成 71
4．3．5 数据归约 72
4．3．6 数据变换 73
4．4 本章小结 74
参考文献 75
第5章 数据的探索 76
5．1 衍生变量 77
5．1．1 衍生变量的定义 77
5．1．2 变量衍生的原则和方法 77
5．1．3 常用的股票衍生变量 78
5．1．4 评价型衍生变量 82
5．1．5 衍生变量数据的收集与集成 83
5．2 数据的统计 84
5．2．1 基本描述性统计 85
5．2．2 分布描述性统计 86
5．3 数据可视化 86
5．3．1 基本可视化方法 86
5．3．2 数据分布形状可视化 87
5．3．3 数据关联情况可视化 89
5．3．4 数据分组可视化 90
5．4 样本选择 91
5．4．1 样本选择的方法 91
5．4．2 样本选择应用实例 91
5．5 数据降维 93
5．5．1 主成分分析（PCA）的基本原理 93
5．5．2 PCA应用实例：企业综合实力
排序 96
5．5．3 相关系数降维 98
5．6 本章小结 99
第6章 关联规则方法 101
6．1 关联规则概要 101
6．1．1 关联规则的提出背景 101
6．1．2 关联规则的基本概念 102
6．1．3 关联规则的分类 103
6．1．4 关联规则挖掘常用算法 104
6．2 Apriori算法 104
6．2．1 Apriori算法的基本思想 104
6．2．2 Apriori算法的步骤 105
6．2．3 Apriori算法的实例 105
6．2．4 Apriori算法的程序实现 107
6．2．5 Apriori算法的优缺点 110
6．3 FP-Growth算法 110
6．3．1 FP-Growth算法的步骤 110
6．3．2 FP-Growth算法的实例 111
6．3．3 FP-Growth算法的优缺点 113
6．4 应用实例：行业关联选股法 113
6．5 本章小结 114
参考文献 115
第7章 数据回归方法 116
7．1 一元回归 117
7．1．1 一元线性回归 117
7．1．2 一元非线性回归 120
7．1．3 一元多项式回归 124
7．2 多元回归 125
7．2．1 多元线性回归 125
7．2．2 多元多项式回归 127
7．3 逐步回归 130
7．3．1 逐步回归的基本思想 130
7．3．2 逐步回归的步骤 131
7．3．3 逐步回归的MATLAB方法 131
7．4 逻辑斯蒂回归 133
7．4．1 逻辑斯蒂回归模型 133
7．4．2 逻辑斯蒂回归实例 134
7．5 应用实例：多因子选股模型的
实现 136
7．5．1 多因子模型的基本思想 136
7．5．2 多因子选股模型的实现 137
7．6 本章小结 140
第8章 分类方法 141
8．1 分类方法概要 141
8．1．1 分类的概念 141
8．1．2 分类的原理 142
8．1．3 常用的分类方法 143
8．2 K-近邻分类 143
8．2．1 K-近邻分类的原理 143
8．2．2 K-近邻分类的实例 145
8．2．3 K-近邻分类的特点 147
8．3 贝叶斯分类 147
8．3．1 贝叶斯分类的原理 147
8．3．2 朴素贝叶斯分类的原理 148
8．3．3 朴素贝叶斯分类的实例 150
8．3．4 朴素贝叶斯分类的特点 150
8．4 神经网络 151
8．4．1 神经网络的原理 151
8．4．2 神经网络的实例 153
8．4．3 神经网络的特点 153
8．5 逻辑斯蒂分类 154
8．5．1 逻辑斯蒂分类的原理 154
8．5．2 逻辑斯蒂分类的实例 154
8．5．3 逻辑斯蒂分类的特点 154
8．6 判别分析 155
8．6．1 判别分析的原理 155
8．6．2 判别分析的实例 156
8．6．3 判别分析的特点 156
8．7 支持向量机（SVM） 156
8．7．1 SVM的基本思想 157
8．7．2 SVM的理论基础 157
8．7．3 SVM的实例 159
8．7．4 SVM的特点 160
8．8 决策树 160
8．8．1 决策树的基本概念 160
8．8．2 决策树建构的步骤 161
8．8．3 决策树的实例 164
8．8．4 决策树的特点 164
8．9 分类的评判 165
8．9．1 正确率 165
8．9．2 ROC曲线 166
8．10 应用实例：分类选股法 168
8．10．1 实例背景 168
8．10．2 实现方法 169
8．11 延伸阅读：其他分类方法 171
8．12 本章小结 172
第9章 聚类方法 173
9．1 聚类方法概要 173
9．1．1 聚类的概念 173
9．1．2 类的度量方法 175
9．1．3 聚类方法的应用场景 176
9．1．4 聚类方法的分类 177
9．2 K-means聚类 177
9．2．1 K-means算法的原理和步骤 177
9．2．2 K-means聚类实例1：自主编程 178
9．2．3 K-means聚类实例2：集成函数 180
9．2．4 K-means算法的特点 183
9．3 层次聚类 183
9．3．1 层次聚类的原理和步骤 183
9．3．2 层次聚类的实例 185
9．3．3 层次聚类的特点 187
9．4 神经网络聚类 187
9．4．1 神经网络聚类的原理和步骤 187
9．4．2 神经网络聚类的实例 187
9．4．3 神经网络聚类的特点 188
9．5 模糊C均值（FCM）方法 188
9．5．1 模糊C均值的原理和步骤 188
9．5．2 模糊C均值方法的应用实例 189
9．5．3 模糊C均值算法的特点 190
9．6 高斯混合聚类方法 190
9．6．1 高斯混合聚类的原理和步骤 190
9．6．2 高斯聚类的实例 192
9．6．3 高斯聚类的特点 193
9．7 类别数的确定方法及实例 193
9．7．1 类别数的确定方法 193
9．7．2 类别数的确定实例 194
9．8 应用实例：股票聚类分池 196
9．8．1 聚类的目标和数据描述 196
9．8．2 实现过程 196
9．8．3 结果及分析 198
9．9 延伸阅读 199
9．9．1 目前聚类分析研究的主要内容 199
9．9．2 SOM智能聚类算法 200
9．10 本章小结 201
参考文献 201
第10章 预测方法 202
10．1 预测方法概要 202
10．1．1 预测的概念 202
10．1．2 预测的基本原理 202
10．1．3 量化投资中预测的主要内容 203
10．1．4 预测的准确度评价及影响因素 204
10．1．5 常用的预测方法 205
10．2 灰色预测 206
10．2．1 灰色预测的原理 206
10．2．2 灰色预测的实例 208
10．3 马尔可夫预测 209
10．3．1 马尔可夫预测的原理 209
10．3．2 马尔可夫过程的特性 210
10．3．3 马尔可夫预测的实例 211
10．4 应用实例：大盘走势预测 214
10．4．1 数据的选取及模型的建立 214
10．4．2 预测过程 216
10．4．3 预测结果与分析 216
10．5 本章小结 217
参考文献 218
第11章 诊断方法 219
11．1 离群点诊断概要 219
11．1．1 离群点诊断的定义 219
11．1．2 离群点诊断的作用 220
11．1．3 离群点诊断方法的分类 221
11．2 基于统计的离群点诊断 221
11．2．1 理论基础 221
11．2．2 应用实例 223
11．2．3 优点与缺点 224
11．3 基于距离的离群点诊断 225
11．3．1 理论基础 225
11．3．2 应用实例 226
11．3．3 优点与缺点 227
11．4 基于密度的离群点诊断 227
11．4．1 理论基础 227
11．4．2 应用实例 228
11．4．3 优点与缺点 229
11．5 基于聚类的离群点诊断 230
11．5．1 理论基础 230
11．5．2 应用实例 230
11．5．3 优点与缺点 232
11．6 应用实例：离群点诊断量化
择时 232
11．7 延伸阅读：新兴的离群点挖掘诊断
方法 233
11．7．1 基于关联的离群点挖掘 233
11．7．2 基于粗糙集的离群点挖掘 234
11．7．3 基于人工神经网络的离群点挖掘 234
11．8 本章小结 235
参考文献 235
第12章 时间序列方法 236
12．1 时间序列的基本概念 236
12．1．1 时间序列的定义 236
12．1．2 时间序列的组成因素 237
12．1．3 时间序列的分类 238
12．1．4 时间序列分析方法 238
12．2 平稳时间序列分析方法 239
12．2．1 移动平均法 239
12．2．2 指数平滑法 240
12．3 季节指数预测法 240
12．3．1 季节性水平模型 240
12．3．2 季节性趋势模型 241
12．4 时间序列模型 242
12．4．1 ARMA模型 242
12．4．2 ARIMA模型 242
12．4．3 ARCH模型 243
12．4．4 GARCH模型 243
12．5 应用实例：基于时间序列的股票
预测 244
12．6 本章小结 247
参考文献 247
第13章 智能优化方法 248
13．1 智能优化方法概要 248
13．1．1 智能优化方法的概念 248
13．1．2 智能优化方法在量化投资领域的
作用 249
13．1．3 常用的智能优化方法 249
13．2 遗传算法 250
13．2．1 遗传算法的原理 250
13．2．2 遗传算法的步骤 251
13．2．3 遗传算法的实例 257
13．2．4 遗传算法的特点 258
13．3 模拟退火算法 259
13．3．1 模拟退火算法的原理 259
13．3．2 模拟退火算法的步骤 260
13．3．3 模拟退火算法的实例 262
13．3．4 模拟退火算法的特点 267
13．4 应用实例：组合投资优化 268
13．4．1 问题描述 268
13．4．2 求解过程 268
13．5 延伸阅读：其他智能方法 269
13．5．1 粒子群算法 269
13．5．2 蚁群算法 271
13．6 本章小结 272
参考文献 272
第3篇 实践篇
第14章 统计套利策略的挖掘与
优化 274
14．1 统计套利策略概述 274
14．1．1 统计套利的定义 274
14．1．2 统计套利策略的基本思想 274
14．1．3 统计套利策略挖掘的方法 275
14．2 基本策略的挖掘 276
14．2．1 准备数据 276
14．2．2 探索交易策略 276
14．2．3 验证交易策略 277
14．2．4 选择*佳的参数 278
14．2．5 参数扫描方法 279
14．2．6 考虑交易费 281
14．3 高频交易策略及优化 282
14．3．1 高频交易的基本思想 282
14．3．2 高频交易的实现 284
14．4 多交易信号策略的组合及优化 286
14．4．1 多交易信号策略 286
14．4．2 交易信号的组合优化机理 287
14．4．3 交易信号的组合优化实现 288
14．5 本章小结 290
参考文献 291
第15章 配对交易策略的挖掘与
实现 292
15．1 配对交易概述 292
15．1．1 配对交易的定义 292
15．1．2 配对交易的特点 293
15．1．3 配对选取步骤 293
15．2 协整检验的理论基础 294
15．2．1 协整关系的定义 294
15．2．2 EG两步协整检验法 295
15．2．3 Johansen协整检验法 295
15．3 配对交易的实现 296
15．3．1 协整检验的实现 296
15．3．2 配对交易函数 297
15．3．3 协整配对中的参数优化 300
15．4 延伸阅读：配对交易的三要素 301
15．4．1 配对交易的前提 301
15．4．2 配对交易的关键 301
15．4．3 配对交易的假设 301
15．5 本章小结 302
参考文献 302
第16章 基于Wind数据的程序化
交易 303
16．1 程序化交易概述 303
16．1．1 程序化交易的定义 303
16．1．2 程序化交易的实现过程 304
16．1．3 程序化交易的分类 305
16．2 数据的处理及探索 306
16．2．1 获取股票日交易数据 306
16．2．2 计算指标 309
16．2．3 数据标准化 315
16．2．4 变量筛选 316
16．3 模型的建立及评估 318
16．3．1 股票预测的基本思想 318
16．3．2 模型的训练及评价 318
16．4 组合投资的优化 321
16．4．1 组合投资的理论基础 321
16．4．2 组合投资的实现 323
16．5 程序化交易的实施 327
16．6 本章小结 327
参考文献 328
第17章 基于Quantrader平台的
量化投资 329
17．1 量化平台概述 329
17．1．1 量化平台现状 329
17．1．2 Quantrader平台的构成 330
17．1．3 Quantrader的工作流程 331
17．2 基于Quantrader平台的量化实现
过程 331
17．2．1 获取交易数据 331
17．2．2 计算衍生变量 333
17．2．3 数据标准化 333
17．2．4 变量优选 333
17．2．5 训练模型 334
17．2．6 策略回测 334
17．3 延伸阅读：Quantrader平台的
拓展 335
第18章 趋势跟踪策略及实现过程 338
18．1 趋势跟踪策略简介 338
18．2 趋势跟踪策略的基本设定 339
18．2．1 策略准则的设定 339
18．2．2 策略主要参数的设定 340
18．2．3 有效突破的设定 340
18．3 均线-收盘价策略的实现过程 340
18．3．1 均线-收盘价策略的MATLAB
实现 341
18．3．2 参数讨论 343
18．4 双均线策略 343
18．4．1 双均线策略的MATLAB实现 343
18．4．2 参数讨论 345
18．5 上升支撑线策略 346
18．5．1 上升支撑线策略的MATLAB
实现 347
18．5．2 参数讨论 349
18．6 下跌压力线策略 349
18．6．1 下跌压力线策略的MATLAB
实现 349
18．6．2 参数讨论 351
18．7 本章小结 352
第19章 基于数据挖掘技术的量化交易
系统 353
19．1 交易系统概述 353
19．1．1 交易系统的定义 353
19．1．2 交易系统的作用 354
19．2 DM交易系统总体设计 355
19．2．1 系统目标 355
19．2．2 相关约定 355
19．2．3 系统结构 355
19．3 短期交易子系统 356
19．3．1 子系统功能描述 356
19．3．2 数据预处理模块 356
19．3．3 量化选股模块 356
19．3．4 策略回测模块 357
19．4 中长期交易子系统 357
19．4．1 子系统功能描述 357
19．4．2 导入数据模块 357
19．4．3 投资组合优化模块 358
19．5 系统的拓展与展望 359
19．6 本章小结 360