Python编程:从数据分析到数据科学(第2版)

目 录 **篇准备工作 1 为什么要学习Python，学习Python 的什么.............................................................................. 3 2 学习Python 之前需要准备的工作.............................................................................................. 6 3 如何看懂和运行本书代码............................................................................................................ 8 3.1 输入部分..................................................................................................................................8 3.2 输出部分............................................................................................................................... 10 3.3 错误与异常信息.................................................................................................................. 11 3.4 外部数据文件.......................................................................................................................12 3.5 注意事项............................................................................................................................... 14 第二篇Python 基础 4 数据类型......................................................................................................................................19 4.1 查看数据类型的方法.......................................................................................................... 20 4.2 判断数据类型的方法...........................................................................................................21 4.3 转换数据类型的方法...........................................................................................................22 4.4 特殊数据类型.......................................................................................................................23 4.5 序列类型...............................................................................................................................26 5 变量..............................................................................................................................................28 5.1 变量的定义方法...................................................................................................................29 5.2 Python 是动态类型语言.....................................................................................................29 5.3 Python 是强类型语言........................................................................................................ 30 5.4 Python 中的变量名是引用.................................................................................................31 5.5 Python 中区分大小写.........................................................................................................32 5.6 变量命名规范.......................................................................................................................32 5.7 iPython 的特殊变量............................................................................................................33 5.8 查看Python 关键字的方法............................................................................................... 34 5.9 查看已定义的所有变量.......................................................................................................35 5.10 删除变量.............................................................................................................................37 6 语句书写规范..............................................................................................................................39 6.1 一行一句............................................................................................................................... 40 6.2 一行多句............................................................................................................................... 40 vi 目 录 6.3 一句多行............................................................................................................................... 41 6.4 复合语句.............................................................................................................................. 42 6.5 空语句................................................................................................................................... 43 7 赋值语句.......................................................................................................................................44 7.1 赋值语句在Python 中的重要地位................................................................................... 45 7.2 链式赋值语句...................................................................................................................... 45 7.3 复合赋值语句...................................................................................................................... 46 7.4 序列的拆包式赋值.............................................................................................................. 46 7.5 两个变量值的调换.............................................................................................................. 47 8 注释语句......................................................................................................................................48 8.1 注释方法............................................................................................................................... 48 8.2 注意事项............................................................................................................................... 49 9 运算符..........................................................................................................................................50 9.1 特殊运算符...........................................................................................................................53 9.2 内置函数................................................................................................................................57 9.3 math 模块.............................................................................................................................58 9.4 优先级与结合方向...............................................................................................................59 10 if 语句...........................................................................................................................................61 10.1 基本语法.............................................................................................................................61 10.2 elif 语句..............................................................................................................................62 10.3 if 与三元运算......................................................................................................................63 10.4 注意事项............................................................................................................................ 64 11 for 语句.........................................................................................................................................66 11.1 基本语法.............................................................................................................................67 11.2 range()函数........................................................................................................................67 11.3 注意事项.............................................................................................................................68 12 while 语句....................................................................................................................................71 12.1 基本语法.............................................................................................................................71 12.2 注意事项.............................................................................................................................72 13 pass 语句.....................................................................................................................................74 13.1 含义.................................................................................................................................... 74 13.2 作用.....................................................................................................................................75 14 列表.............................................................................................................................................76 14.1 定义方法.............................................................................................................................78 vii 14.2 切片操作.............................................................................................................................79 14.3 反向遍历.............................................................................................................................81 14.4 类型转换.............................................................................................................................83 14.5 extend 与append 的区别...............................................................................................83 14.6 列表推导式........................................................................................................................ 84 14.7 插入与删除.........................................................................................................................87 14.8 常用操作函数.....................................................................................................................89 15 元组.............................................................................................................................................94 15.1 定义方法.............................................................................................................................95 15.2 主要特征.............................................................................................................................97 15.3 基本用法.............................................................................................................................99 15.4 应用场景.......................................................................................................................... 100 16 字符串...................................................................................................................................... 103 16.1 定义方法.......................................................................................................................... 104 16.2 主要特征.......................................................................................................................... 105 16.3 字符串的操作.................................................................................................................. 106 17 序列...........................................................................................................................................111 17.1 支持索引.......................................................................................................................... 112 17.2 支持切片.......................................................................................................................... 113 17.3 支持迭代.......................................................................................................................... 114 17.4 支持拆包.......................................................................................................................... 114 17.5 支持*运算........................................................................................................................ 115 17.6 通用函数.......................................................................................................................... 117 18 集合.......................................................................................................................................... 120 18.1 定义方法.......................................................................................................................... 121 18.2 主要特征.......................................................................................................................... 122 18.3 基本运算.......................................................................................................................... 123 18.4 应用场景.......................................................................................................................... 125 19 字典...........................................................................................................................................126 19.1 定义方法.......................................................................................................................... 127 19.2 字典的主要特征.............................................................................................................. 128 19.3 字典的应用场景.............................................................................................................. 129 20 函数......................................................................................................................................... 130 20.1 内置函数...........................................................................................................................131 viii 目 录 20.2 模块函数...........................................................................................................................131 20.3 用户自定义函数...............................................................................................................132 21 内置函数...................................................................................................................................133 21.1 内置函数的主要特点...................................................................................................... 134 21.2 数学函数.......................................................................................................................... 134 21.3 类型函数.......................................................................................................................... 135 21.4 其他功能函数.................................................................................................................. 136 22 模块函数................................................................................................................................. 141 22.1 import 模块名................................................................................................................ 142 22.2 import 模块名as 别名.................................................................................................. 143 22.3 from 模块名import 函数名......................................................................................... 143 23 自定义函数............................................................................................................................. 145 23.1 定义方法.......................................................................................................................... 147 23.2 函数中的docString....................................................................................................... 148 23.3 调用方法.......................................................................................................................... 148 23.4 返回值.............................................................................................................................. 149 23.5 形参与实参...................................................................................................................... 150 23.6 变量的可见性.................................................................................................................. 152 23.7 值传递与地址传递.......................................................................................................... 154 23.8 其他注意事项.................................................................................................................. 156 24 lambda 函数............................................................................................................................158 24.1 lambda 函数的定义方法............................................................................................... 159 24.2 lambda 函数的调用方法............................................................................................... 160 第三篇Python 进阶 25 迭代器与生成器......................................................................................................................165 25.1 可迭代对象与迭代器...................................................................................................... 166 25.2 生成器与迭代器.............................................................................................................. 167 26 模块..........................................................................................................................................169 26.1 导入与调用用法.............................................................................................................. 170 26.2 查看内置模块清单的方法.............................................................................................. 171 27 包............................................................................................................................................. 174 27.1 相关术语 .......................................................................................................................... 175 27.2 安装包.............................................................................................................................. 175 ix 27.3 查看已安装包.................................................................................................................. 176 27.4 更新（或删除）已安装包.............................................................................................. 176 27.5 导入包.............................................................................................................................. 177 27.6 查看包的帮助.................................................................................................................. 178 27.7 常用包.............................................................................................................................. 179 28 帮助文档................................................................................................................................. 180 28.1 help 函数......................................................................................................................... 181 28.2 docString ........................................................................................................................ 181 28.3 查看源代码...................................................................................................................... 182 28.4 doc 属性........................................................................................................................... 183 28.5 dir()函数........................................................................................................................... 184 28.6 其他方法.......................................................................................................................... 186 29 异常与错误..............................................................................................................................187 29.1 try/except/finally......................................................................................................... 188 29.2 异常信息的显示模式...................................................................................................... 189 29.3 断言.................................................................................................................................. 190 30 程序调试方法..........................................................................................................................192 30.1 调试程序的基本方法 ...................................................................................................... 193 30.2 设置错误信息的显示方式.............................................................................................. 194 30.3 设置断言的方法.............................................................................................................. 195 31 面向对象编程...........................................................................................................................197 31.1 类的定义方法.................................................................................................................. 198 31.2 类中的特殊方法.............................................................................................................. 199 31.3 类之间的继承关系.......................................................................................................... 201 31.4 私有属性及@property 装饰器..................................................................................... 203 31.5 self 和cls ........................................................................................................................ 204 31.6 new 与init 的区别和联系............................................................................................. 205 32 魔术命令................................................................................................................................. 208 32.1 运行.py 文件：%run...................................................................................................... 209 32.2 统计运行时间：%timeit 与%%timeit....................................................................... 210 32.3 查看历史In 和Out 变量：%history .......................................................................... 211 32.4 更改异常信息的显示模式：%xmode.......................................................................... 212 32.5 调试程序：%debug....................................................................................................... 214 32.6 程序运行的逐行统计：%prun 与%lprun .................................................................. 215 x 目 录 32.7 内存使用情况的统计：%memit .................................................................................. 216 33 搜索路径..................................................................................................................................218 33.1 变量搜索路径.................................................................................................................. 219 33.2 模块搜索路径.................................................................................................................. 221 34 当前工作目录..........................................................................................................................224 34.1 显示当前工作目录的方法.............................................................................................. 225 34.2 更改当前工作目录的方法.............................................................................................. 225 34.3 读/写当前工作目录的方法............................................................................................ 226 第四篇数据加工 35 随机数......................................................................................................................................229 35.1 一次生成一个数.............................................................................................................. 230 35.2 一次生成一个随机数组.................................................................................................. 231 36 数组..........................................................................................................................................234 36.1 创建方法.......................................................................................................................... 238 36.2 主要特征.......................................................................................................................... 241 36.3 切片/读取......................................................................................................................... 243 36.4 浅拷贝和深拷贝.............................................................................................................. 249 36.5 形状和重构...................................................................................................................... 250 36.6 属性计算.......................................................................................................................... 254 36.7 ndarray 的计算............................................................................................................... 256 36.8 ndarray 的元素类型....................................................................................................... 258 36.9 插入与删除...................................................................................................................... 259 36.10 缺失值处理.................................................................................................................... 260 36.11 ndarray 的广播规则..................................................................................................... 261 36.12 ndarray 的排序............................................................................................................. 262 37 Series ........................................................................................................................................265 37.1 Series 的主要特点.......................................................................................................... 266 37.2 Series 的定义方法.......................................................................................................... 266 37.3 Series 的操作方法.......................................................................................................... 269 38 DataFrame...............................................................................................................................274 38.1 DataFrame 的创建方法................................................................................................. 277 38.2 查看行或列...................................................................................................................... 278 38.3 引用行或列...................................................................................................................... 279 xi 38.4 index 操作...................................................................................................................... 282 38.5 删除或过滤行/列............................................................................................................ 284 38.6 算术运算.......................................................................................................................... 289 38.7 大小比较运算.................................................................................................................. 295 38.8 统计信息.......................................................................................................................... 296 38.9 排序.................................................................................................................................. 298 38.10 导入/导出...................................................................................................................... 300 38.11 缺失数据处理................................................................................................................ 301 38.12 分组统计........................................................................................................................ 307 39 日期与时间............................................................................................................................. 310 39.1 常用包与模块.................................................................................................................. 311 39.2 时间和日期类型的定义.................................................................................................. 311 39.3 转换方法.......................................................................................................................... 313 39.4 显示系统当前时间.......................................................................................................... 315 39.5 计算时差.......................................................................................................................... 316 39.6 时间索引.......................................................................................................................... 316 39.7 period_range()函数....................................................................................................... 319 40 可视化..................................................................................................................................... 320 40.1 Matplotlib 可视化......................................................................................................... 322 40.2 改变图的属性.................................................................................................................. 325 40.3 改变图的类型.................................................................................................................. 328 40.4 改变图的坐标轴的取值范围.......................................................................................... 329 40.5 去掉边界的空白.............................................................................................................. 332 40.6 在同一个坐标上画两个图.............................................................................................. 332 40.7 多图显示.......................................................................................................................... 333 40.8 图的保存.......................................................................................................................... 334 40.9 散点图的画法.................................................................................................................. 335 40.10 Pandas 可视化.............................................................................................................. 336 40.11 Seaborn 可视化............................................................................................................ 339 40.12 数据可视化实战............................................................................................................ 342 41 Web 爬取..................................................................................................................................345 41.1 Scrapy 的下载与安装.................................................................................................... 348 41.2 Scrapy Shell 的基本原理.............................................................................................. 349 41.3 Scrapy Shell 的应用...................................................................................................... 350 xii 目 录 41.4 自定义Spider 类............................................................................................................ 352 41.5 综合运用.......................................................................................................................... 359 第五篇数据分析 42 统计分析..................................................................................................................................367 42.1 业务理解.......................................................................................................................... 369 42.2 数据读入.......................................................................................................................... 369 42.3 数据理解.......................................................................................................................... 370 42.4 数据准备.......................................................................................................................... 371 42.5 模型类型的选择与超级参数的设置.............................................................................. 373 42.6 训练具体模型及查看其统计量...................................................................................... 374 42.7 拟合优度评价.................................................................................................................. 376 42.8 建模前提假定的讨论...................................................................................................... 376 42.9 模型的优化与重新选择.................................................................................................. 378 42.10 模型的应用.................................................................................................................... 382 43 机器学习..................................................................................................................................383 43.1 机器学习的业务理解...................................................................................................... 384 43.2 数据读入.......................................................................................................................... 385 43.3 数据理解.......................................................................................................................... 386 43.4 数据准备.................................................................