机器学习的算法分析和实践

第 1章引论 .1 1.1什么是机器学习 .1 1.2多项式逼近函数 .3 1.3多项式 Remez算法6
习题 . 10 第 2章感知机模型 . 11 2.1分类问题的刻画 . 11 2.2线性规划 . 15
习题 . 21 第 3章线性回归. 23 3.1*小二乘法原理 . 23 3.2多元高斯分布模型 25 3.3误差和方差 26 3.4岭回归和 Lasso回归 28
习题 . 30 第 4章逻辑回归. 31 4.1逻辑回归概述 31 4.2多重分类线性模型和非线性模型 34
习题 . 35 第 5章决策树模型 . 37 5.1离散型数据 37 5.2熵和决策树的建立 39 5.3剪枝 41 5.4连续型数据 42 5.5 CART树 43 习题 . 46 第 6章生成模型和判别模型 48 6.1极大似然估计 48 6.2贝叶斯估计 50 6.3线性判别模型 51 6.4多元正态分布 53 6.5 LDA和 LQA 54 第 7章优化方法. 57 7.1数值解方程 57 7.2光滑函数的极值点 58 7.3带约束条件的极值问题 . 59 7.4梯度下降法 61 7.5凸函数 62 7.6对偶问题 . 65 7.7 Minimax问题 . 66 7.8 L1过滤. 68 第 8章支持向量机 . 70 8.1点到平面的距离 . 70 8.2支持向量机的原理 71 8.3对偶问题 . 73 8.4核函数的方法 75 8.5软性支持向量机 . 77 8.6支持向量机回归 . 79
习题 . 80 第 9章神经网络. 81 9.1简单函数逼近复杂函数 . 81 9.2神经网络结构 83
习题 . 85 第 10章机器学习理论问题 . 87 10.1问题的提出 87 10.2概率不等式 90 10.3有限假设空间. 92 目录 V
10.4 No Free Lunch定理 . 95 10.5 VC维度 96
习题 . 104 第 11章集成和提升 . 105 11.1方差偏度分解. 105 11.2随机森林 . 107 11.3梯度提升决策树模型. 108 11.4 AdaBoost方法 111
习题 . 114 第 12章主成分分析 . 115 12.1对称矩阵特征值和特征向量. 115 12.2矩阵的奇异值分解 118 12.3主成分分析 119 第 13章 EM算法 121 13.1一个概率问题. 121 13.2混合高斯分布的 EM算法 . 123 13.3一般形式推导. 126
习题 . 127 第 14章隐马尔可夫模型. 129 14.1**个问题 130 14.2第二个问题 133 14.3第三个问题 134 14.4连续型隐马尔可夫模型 . 136
习题 . 138 第 15章强化学习. 140 15.1马尔可夫价值系统 140 15.2马尔可夫价值蒙特卡罗数值解 . 141 15.3马尔可夫决策系统 142 15.4马尔可夫决策系统*优策略. 143 15.5时序差分方法. 144 15.6资格迹. 146 15.7值函数逼近方法 . 147
习题 . 149 第 16章概率论基础 . 150 16.1古典概率论内容 . 150 16.2连续分布 . 151 16.3期望 154 16.4信息和熵 . 155 16.5大数定律证明. 157 16.6中心极限定理证明 159 第 17章线性代数基础 161 17.1行列式. 161 17.2 Cramer法则 166 17.3矩阵初等性质. 168 17.4矩阵的逆 . 171 17.5矩阵的初等变换 . 172 17.6伴随矩阵 . 174 17.7对于矩阵运算求导数. 175