机器学习方法及应用

目录 第1章机器学习概述1 1.1学习中的元素2 1.2目标函数的表示4 1.3机器学习系统的基本结构6 1.4学习任务的类型7 1.5机器学习的定义和发展史9 1.6机器学习可完成的事11 1.7机器学习的成功案例13 习题16 第2章决策树学习17 2.1决策树的组成及分类17 2.2决策树的构造算法CLS18 2.3基本的决策树算法ID320 2.4信息熵和信息增益及其案例21 2.5随机森林及其应用案例24 2.5.1随机森林概述24 2.5.2随机森林应用案例27 2.6决策树和随机森林应用概述29 2.6.1决策树的应用概述29 2.6.2随机森林的应用概述30 小结32 习题32 第3章多层感知器34 3.1神经元模型34 3.2感知器及其学习规则35 3.3多层感知器38 3.4反向传播算法39 目录3.5反向传播网络的应用概述45 3.6案例：基于反向传播网络拟合曲线46 小结52 习题53 第4章维度约简55 4.1主成分分析55 4.2独立成分分析58 4.3线性判别分析59 4.4局部线性嵌入62 4.5维度约简算法应用概述65 4.6案例分析66 4.6.1利用PCA对半导体制造数据降维66 4.6.2LDA降维——应用于Wine葡萄酒数据集67 小结69 习题69 第5章支持向量机71 5.1线性可分模式的*优超平面71 5.2不可分离模式的*优超平面75 5.3用于模式识别的支持向量机的潜在思想78 5.4使用核方法的支持向量机78 5.5支持向量机的设计80 5.6支持向量机的应用概述81 5.7支持向量机的示例83 小结86 习题87 第6章无监督学习89 6.1聚类概述89 6.2Kmeans算法90 6.3DBSCAN算法92 6.4EM算法94 6.5关联分析97 6.6竞争网络99 6.6.1Hamming网络100 6.6.2竞争学习及案例101 6.6.3自组织特征图104 6.6.4学习向量量化107 6.7无监督学习应用概述109 6.8案例分析111 6.8.1使用K-means算法对用户购物行为聚类和推荐111 6.8.2使用DBSCAN清洗GPS轨迹数据111 6.8.3高斯混合模型的EM聚类113 6.8.4学习向量量化解决分类问题114 小结116 习题116 第7章概率图模型118 7.1贝叶斯网络118 7.1.1贝叶斯基本公式119 7.1.2朴素贝叶斯分类器120 7.1.3贝叶斯网络的拓扑结构121 7.1.4条件独立性假设121 7.1.5先验概率的确定和网络推理算法122 7.2马尔可夫随机场124 7.2.1马尔可夫随机场概念125 7.2.2马尔可夫随机场的因式分解126 7.3隐马尔可夫模型128 7.4马尔可夫链蒙特卡罗131 7.4.1蒙特卡罗积分131 7.4.2马尔可夫链132 7.4.3马尔可夫链蒙特卡罗132 7.5LDA主题提取模型136 7.6概率图模型应用概述138 7.7案例分析141 7.7.1朴素贝叶斯进行垃圾邮件过滤141 7.7.2前向后向算法求观测序列概率142 7.7.3马尔可夫链蒙特卡罗方法预测睡眠质量144 7.7.4利用LDA对文本进行主题提取148 小结149 习题150 第8章强化学习151 8.1强化学习过程151 8.2马尔可夫决策过程152 8.3Q-Learning156 8.4强化学习应用概述159 8.5案例分析161 8.5.1使用马尔可夫决策过程求解*优策略162 8.5.2寻宝游戏163 小结164 习题165 第9章深度学习166 9.1深度学习概述166 9.2卷积神经网络169 9.2.1卷积层169 9.2.2池化层171 9.2.3卷积神经网络结构172 9.3循环神经网络172 9.3.1给网络增加记忆能力173 9.3.2简单循环网络174 9.3.3应用到机器学习175 9.3.4参数学习177 9.3.5基于门控的循环神经网络179 9.4深度信念网络181 9.4.1玻尔兹曼机181 9.4.2受限玻尔兹曼机182 9.4.3深度信念网络183 9.5深度生成模型185 9.5.1概率生成模型185 9.5.2变分自编码器186 9.5.3生成对抗网络188 9.5.4生成对抗网络的应用190 9.6深度学习应用概述193 9.6.1文本194 9.6.2语音195 9.6.3计算机视觉196 9.7机器学习系统199 9.7.1主流机器学习系统的分类与介绍200 9.7.2主流深度学习框架系统介绍201 9.7.3新兴机器学习系统203 9.8案例：深度学习在计算机视觉中的应用204 小结210 习题210 附录机器学习工具及资源推荐212 参考文献217