数据科学的数学基础

第1章 线性代数 1 1.1 矩阵及运算 1 1.1.1 矩阵的运算 1 1.1.2 行列式与迹 3 1.1.3 矩阵的逆 5 1.1.4 矩阵分块 6 1.2 线性方程组 8 1.2.1 初等变换 8 1.2.2 线性方程组求解 11 习题1 12 第2章 向量空间 14 2.1 向量空间和向量子空间 14 2.1.1 向量空间 14 2.1.2 向量子空间 15 2.2 向量子空间的基 16 2.2.1 线性组合与线性独立 16 2.2.2 基 18 2.3 线性映射 19 2.3.1 线性映射 20 2.3.2 变换矩阵 20 2.3.3 基变换 23 2.4 仿射映射 27 习题2 28 第3章 内积空间 31 3.1 范数 31 3.2 内积 32 3.2.1 内积的定义 32 3.2.2 正定矩阵 33 3.3 向量长度与距离测度 34 3.4 角度与正交性 35 3.5 正交投影 36 3.5.1 一维子空间投影(线上投影) 36 3.5.2 多维子空间投影 37 3.5.3 GramSchmidt正交化 39 3.5.4 仿射子空间投影 39 3.6 旋转 40 3.6.1 R空间中的旋转 40 3.6.2 R空间中的旋转 41 3.6.3 高维空间中的旋转 42 3.6.4 标准正交基下的旋转 42 习题3 42 第4章 矩阵分解 44 4.1 特征值和特征向量 44 4.1.1 特征多项式 45 4.1.2 与行列式和迹的关系 47 4.1.3 几何意义 48 4.1.4 对称矩阵的特征值与特征向量 49 4.2 Rayleigh商 52 4.3 Cholesky分解 53 4.4 QR分解 54 4.5 特征值分解 56 4.5.1 概念与性质 56 4.5.2 几何意义 58 4.6 奇异值分解 59 4.6.1 几何意义 60 4.6.2 SVD的构造 62 习题4 64 第5章 向量微积分 66 5.1 实值函数梯度 66 5.1.1 导数与偏导 66 5.1.2 实值函数的梯度 67 5.1.3 多元函数的求导法则 68 5.2 向量值函数梯度 70 5.2.1 向量值函数梯度的定义 70 5.2.2 梯度的维数 72 5.2.3 复合函数的梯度 72 5.3 关于矩阵的梯度 73 5.3.1 实值函数的矩阵梯度 73 5.3.2 向量值函数的矩阵梯度 75 5.4 Hessian阵 76 5.5 多元泰勒级数 77 习题5 80 第6章 概率与分布 82 6.1 频率派与贝叶斯派 82 6.2 随机向量 83 6.2.1 概率空间 83 6.2.2 随机变量 83 6.2.3 随机向量 84 6.3 数字特征与独立性 85 6.3.1 期望向量与协方差矩阵 85 6.3.2 随机向量的组合 87 6.3.3 独立性 88 6.4 高斯分布 89 6.4.1 边缘分布 90 6.4.2 条件分布 91 6.4.3 线性变换与线性组合 93 习题6 94 第7章 优化方法 96 7.1 梯度下降的几种方法 96 7.1.1 梯度下降法 96 7.1.2 牛顿法 98 7.1.3 动量法 99 7.1.4 自适应梯度法 100 7.2 对偶问题及弱对偶性 101 7.3 凸优化问题的*优性 103 7.3.1 强对偶性 104 7.3.2 KKT条件 106 7.4 二次规划 108 习题7 109 参考文献 111