SPSS Modeler数据挖掘方法及应用

目 录
第1章 数据挖掘和SPSS Modeler使用概述 1
1．1 数据挖掘的产生背景 1
1．1．1 海量大数据的分析需求催生数据挖掘 1
1．1．2 应用对理论的挑战催生数据挖掘 2
1．2 什么是数据挖掘 4
1．2．1 数据挖掘和数据库中的知识发现 5
1．2．2 数据挖掘方法论 6
1．2．3 数据挖掘的任务和应用 9
1．2．4 数据挖掘得到的知识形式 11
1．2．5 数据挖掘算法的分类 14
1．3 SPSS Modeler软件概述 17
1．3．1 SPSS Modeler的数据流 17
1．3．2 SPSS Modeler的窗口 19
1．3．3 数据流的基本管理 21
1．3．4 缓存节点和超节点 24
1．3．5 从一个示例看SPSS Modeler的使用 25
第2章 SPSS Modeler的数据读入和数据集成 31
2．1 变量类型 31
2．1．1 从数据挖掘角度看变量类型 31
2．1．2 从计算机存储角度看变量类型 32
2．2 读入数据 32
2．2．1 读自由格式的文本文件 33
2．2．2 读Excel电子表格数据 36
2．2．3 读SPSS格式文件 37
2．3 数据集成 38
2．3．1 数据的纵向合并 38
2．3．2 数据的横向合并 40
2．3．3 数据源替换 43
第3章 SPSS Modeler的数据理解 45
3．1 变量说明 45
3．1．1 变量的重新实例化 46
3．1．2 有效变量值和无效值调整 47
3．1．3 变量角色的说明 49
3．2 数据质量的评估和调整 50
3．2．1 数据的基本特征与质量评价报告 50
3．2．2 变量值的调整 53
3．2．3 数据质量管理 56
3．3 数据的排序 58
3．3．1 单变量排序 58
3．3．2 多重排序 59
3．4 数据的分类汇总 60
3．4．1 单变量分类汇总 60
3．4．2 多重分类汇总 61
第4章 SPSS Modeler的数据准备 62
4．1 变量变换 62
4．1．1 CLEM表达式 62
4．1．2 变量值的重新计算 65
4．1．3 变量类别值的调整 67
4．2 变量派生 68
4．2．1 生成新变量 68
4．2．2 生成服从正态分布的新变量 72
4．2．3 派生哑变量 75
4．3 数据精简 76
4．3．1 随机抽样 76
4．3．2 根据条件选取样本 79
4．4 建模中的数据集处理策略 80
4．4．1 样本的平衡处理 80
4．4．2 样本子集的划分 81
第5章 SPSS Modeler的基本分析 85
5．1 数值型变量的基本分析 85
5．1．1 计算基本描述统计量 85
5．1．2 绘制散点图 88
5．1．3 绘制线图 91
5．2 两分类型变量相关性的研究 93
5．2．1 两分类型变量相关性的图形分析 93
5．2．2 两分类型变量相关性的数值分析 98
5．3 两总体的均值比较 102
5．3．1 两总体均值比较的图形分析 102
5．3．2 独立样本的均值检验 104
5．3．3 配对样本的均值检验 108
5．4 RFM分析 110
5．4．1 什么是RFM分析 110
5．4．2 RFM汇总 110
5．4．3 计算RFM得分 112
第6章 SPSS Modeler的数据精简 115
6．1 变量值的离散化处理 115
6．1．1 无监督的数据分组 115
6．1．2　有监督的数据分组 116
6．1．3 变量值离散化处理的应用示例 119
6．2　特征选择 122
6．2．1　特征选择的一般方法 123
6．2．2　特征选择的应用示例 124
6．3 因子分析 128
6．3．1 什么是因子分析 128
6．3．2　因子提取和因子载荷矩阵的求解 131
6．3．3　因子的命名解释 134
6．3．4　计算因子得分 135
6．3．5　因子分析的应用示例 136
第7章 分类预测：SPSS Modeler的决策树 141
7．1 决策树算法概述 141
7．1．1 什么是决策树 141
7．1．2 决策树的几何理解 143
7．1．3 决策树的核心问题 143
7．2 SPSS Modeler的C5．0算法及其应用 146
7．2．1 信息熵和信息增益 146
7．2．2 C5．0决策树的生长算法 147
7．2．3 C5．0决策树的剪枝算法 152
7．2．4 C5．0决策树的基本应用示例 154
7．2．5 C5．0的推理规则集 158
7．2．6 损失矩阵 163
7．2．7 N折交叉验证和Boosting技术 165
7．3 SPSS Modeler的分类回归树及其应用 169
7．3．1 分类回归树的生长过程 169
7．3．2 分类回归树的剪枝过程 171
7．3．3 损失矩阵对分类回归树的影响 174
7．3．4 分类回归树的基本应用示例 174
7．3．5 分类回归树的交互建模 178
7．3．6 交互建模中分类回归树的评价 180
7．4 SPSS Modeler的CHAID算法及其应用 185
7．4．1 CHAID算法 185
7．4．2 穷举CHAID算法 186
7．4．3 CHAID算法的剪枝 187
7．4．4 CHAID算法的应用示例 187
7．5 SPSS Modeler的QUEST算法及其应用 189
7．5．1 QUEST算法 189
7．5．2 QUEST算法的应用示例 191
7．6 模型的对比分析 192
7．6．1 不同模型的误差对比 192
7．6．2 不同模型的收益对比 195
第8章　分类预测：SPSS Modeler的人工神经网络 198
8．1　人工神经网络算法概述 198
8．1．1　人工神经网络的概念和种类 198
8．1．2　人工神经网络中的节点和意义 200
8．1．3　人工神经网络建立的一般步骤 202
8．2 SPSS Modeler的B-P反向传播网络 204
8．2．1 感知机模型 204
8．2．2 B-P反向传播网络的特点 207
8．2．3 B-P反向传播算法 209
8．2．4 B-P反向传播网络的其他问题 212
8．3 SPSS Modeler的B-P反向传播网络的应用 214
8．3．1 基本操作 215
8．3．2 结果说明 215
8．4 SPSS Modeler的径向基函数网络及其应用 216
8．4．1 径向基函数网络中的隐节点和输出节点 217
8．4．2 径向基函数网络的学习过程 217
8．4．3 径向基函数网络的应用示例 219
第9章　分类预测：SPSS Modeler的支持向量机 221
9．1　支持向量分类的基本思路 221
9．1．1　支持向量分类的数据和目标 221
9．1．2　支持向量分类的三种情况 223
9．2　线性可分问题下的支持向量分类 224
9．2．1　如何求解超平面 224
9．2．2　如何利用超平面进行分类预测 226
9．3　广义线性可分下的支持向量分类 227
9．3．1　如何求解超平面 227
9．3．2　可调参数的意义：把握程度和精度的权衡 228
9．4　线性不可分下的支持向量分类 229
9．4．1　线性不可分的一般解决途径和维灾难问题 229
9．4．2　支持向量分类克服维灾难的途径 230
9．5　支持向量回归 232
9．5．1　支持向量回归与一般线性回归：目标和策略 232
9．5．2　支持向量回归的基本思路 233
9．6　支持向量机的应用 235
9．6．1　基本操作 235
9．6．2　结果解读 236
第10章　分类预测：SPSS Modeler的Logistic回归分析 238
10．1　Logistic回归分析概述 238
10．2　二项Logistic回归分析 239
10．2．1　二项Logistic回归方程 239
10．2．2　二项Logistic回归方程系数的含义 241
10．2．3　二项Logistic回归方程的检验 242
10．2．4　二项Logistic回归分析中的虚拟自变量 246
10．3　二项Logistic回归分析的应用 246
10．3．1　基本操作 247
10．3．2　结果解读 249
10．4　多项Logistic回归分析及其应用 257
10．4．1　多项Logistic回归分析概述 257
10．4．2　多项Logistic回归分析的应用示例 257
第11章 分类预测：SPSS Modeler的判别分析 262
11．1 距离判别 262
11．1．1 距离判别的基本思路 262
11．1．2 判别函数的计算 263
11．2 Fisher判别 264
11．2．1 Fisher判别的基本思路 264
11．2．2 Fisher判别的计算 266
11．3 贝叶斯判别 267
11．3．1 贝叶斯判别的基本思路 267
11．3．2 贝叶斯判别的计算 267
11．4 判别分析的应用 268
11．4．1 基本操作 268
11．4．2 判别分析的准备工作 269
11．4．3 结果解读 273
第12章 分类预测：SPSS Modeler的贝叶斯网络 279
12．1 贝叶斯方法基础 279
12．1．1 贝叶斯概率和贝叶斯公式 279
12．1．2 朴素贝叶斯分类法 280
12．2 贝叶斯网络概述 282
12．2．1 什么是贝叶斯网络 282
12．2．2 贝叶斯网络的组成及构建 283
12．2．3 贝叶斯网络的分类预测 284
12．3 TAN贝叶斯网络 285
12．3．1 TAN贝叶斯网络的结构 285
12．3．2 TAN贝叶斯网络结构的学习 286
12．3．3 TAN贝叶斯网络的参数估计 288
12．4 马尔科夫毯网络 290
12．4．1 马尔科夫毯网络的基本概念 290
12．4．2 条件独立检验 291
12．4．3 马尔科夫毯网络结构的学习 292
12．4．4 马尔科夫毯网络的分类预测 293
12．5 贝叶斯网络的应用 293
12．5．1 基本操作 293
12．5．2 结果解读 295
第13章 探索内部结构：SPSS Modeler的关联分析 299
13．1 简单关联规则及其有效性 299
13．1．1 简单关联规则的基本概念 299
13．1．2 简单关联规则的有效性和实用性 301
13．2 SPSS Modeler的Apriori算法及其应用 305
13．2．1 产生频繁项集 305
13．2．2 依据频繁项集产生简单关联规则 307
13．2．3 Apriori算法的应用示例 307
13．3 SPSS Modeler的序列关联及其应用 312
13．3．1 序列关联中的基本概念 312
13．3．2 Sequence算法 313
13．3．3 序列关联的时间约束 316
13．3．4 Sequence算法的应用示例 317
第14章 探索内部结构：SPSS Modeler的聚类分析 320
14．1 聚类分析的一般问题 320
14．1．1 聚类分析的提出 320
14．1．2 聚类算法 320
14．2 SPSS Modeler的K-Means聚类及应用 321
14．2．1 K-Means对“亲疏程度”的测度 321
14．2．2 K-Means聚类过程 321
14．2．3 K-Means聚类的应用示例 324
14．3 SPSS Modeler的两步聚类及其应用 327
14．3．1 两步聚类对“亲疏程度”的测度 328
14．3．2 两步聚类过程 328
14．3．3 聚类数目的确定 330
14．3．4 两步聚类的应用示例 332
14．4 SPSS Modeler的Kohonen网络聚类及其应用 333
14．4．1 Kohonen网络聚类机理 333
14．4．2 Kohonen网络聚类过程 335
14．4．3 Kohonen网络聚类的应用示例 337
14．5 基于聚类分析的离群点探索 342
14．5．1 多维空间基于聚类的离群点诊断方法 343
14．5．2 多维空间基于聚类的离群点诊断应用示例 345