生物信息学数据分析丛书:生物学家必备大数据实用计算技巧

目录在开始之前 1引言 1为什么要写这本书？ 1为什么只针对生物学家？ 2需要使用特定计算机或程序吗？ 2写给使用这本书自学的读者 3写给使用这本书的教师 3超越这本书 4如何使用好这本书 4**部分 文 本 文 件第1章 开始设置 9关于文本文件的操作介绍 9什么是文本文件 9在一个文本文件内组织数据 10文本编辑器 11安装TextWrangler 11在文本编辑器里优化文本外观 12行尾结束符 13示例文件 13安装示例文件 14探索示例文件 14总结 15第2章 正则表达式：强大的搜索和替换 16一种用于搜索和替换的广泛语言 16了解这个新工具箱的组件 17设置文本编辑器 17你的**个通配符：\w 代替字母和数字 19用()来捕获文本 20量词：用 来对应一个或多个实体 21用\进行标点符号字符转义 23更为特殊的搜索项：\s\t\r\d 24示例：分子数据文件的重新格式化 25关于生成正则表达式的评论 26总结 27第3章 探索正则表达式的灵活性 28字符集：定义你自己的通配符 28用[]定义定制的字符集 28应用自定义字符集 28否定字符集：用[^]定义自定义字符集 30边界：^开头和$结尾 31使量词更加精密 32另一个量词：*为零次或多次 32用?修改贪婪程度 33用{}符号控制匹配的数量 33把所有都放在一起 34生成替换关键词 35构建可靠的搜索 36总结 37进一步学习 38第二部分Shell命令第4章 命令行操作：shell 41初次接触：不要惧怕命令行 41开始了解shell然后产生兴趣 42开始了解shell 42文件系统的命令行视图 43路径 44利用shell在计算机里遨游 45用ls列出文件，用pwd 找出你在哪里 45如何用cd来回移动位置 47用～表示主目录 48用mkdir和rmdir来添加和移除文件夹 49复制文件 49移动文件 51命令行快捷键 51向上箭头键 51Tab 52用命令行参数来修正命令的行为 53用less命令浏览文件内容 54在命令行中使用man命令查看帮助文件 55命令行*终会使你的操作更容易 55路径描述中的通配符 55复制和移动多个文件 56结束你的终端会话 57总结 57**阅读 58第5章 在shell中处理文本 59用nano在命令行里编辑文本文件 59控制shell里的数据流 61用>重定向输出到一个文件 61用cat来显示和连接文件 62用grep在命令行中使用正则表达式 64处理一个大数据集 64从文件中抽提特定的行 64用管道|将输出从一个程序重定向到另一个程序 66用grep跨越搜索多个文件 67改善grep的行为 68用curl 获取Web 上的内容 69其他shell命令 71总结 72第6章 使用shell 编写脚本 73组合命令 73搜索路径 73命令行如何找到它应执行的命令 73创建你的工作区—脚本文件夹 75编辑你的bash_profile文件来进行个性化设置 76检查你的新$PATH 77把文本文档型文件转变为软件 78#!控制脚本文本用何种程序解释 79通过调整权限使文本文件可以被执行 79生成自动脚本 81批量复制文件 81灵活的文件重命名 84运用curl自动检索参考文献 86用curl编写脚本的几个常用方法 88用Alias创建快捷别名 88总结 89进一步学习 89第三部分 编 程第7章 编程组件 93程序是什么？ 93接下来几章的目标 93实际编程 94变量 95变量的剖析 95基本变量类型 96能够容纳其他变量的变量 97数组和列表 97不同类型之间的转换 99运行中的变量 99数学运算符 99比较运算符与逻辑运算符 100函数 101流控制 102用if语句做决策 102由for与while构成的循环 103使用列表和字典 104列表 104字典 105其他数据类型 105输入和输出 106用户交互 106文件 106库和模块 107注释语句 108对象 108总结 109第8章 开始使用Python编程 110为什么选择Python110编写程序 111开始运行程序 111构建dnacalcpy 程序 112简单的print 语句 112len()函数 114使用str()、int()和float()转换变量类型 115内置字符串函数count() 116整数和浮点数的数学运算 116使用#添加评论 118使用%运算符控制字符串格式 118获取用户输入 120使用raw_input()收集用户输入 120用replace()和upper()整理变量 121回顾你的程序 123总结 123第9章 决策与循环 124Python交互式提示符 124获取Python的帮助 126向dnacalcpy里添加更多的计算内容 127if条件语句 127使用缩进指定代码块 128逻辑运算符 128if语句 129else:语句 130for循环介绍 132列表简介 132在proteincalcpy中写入for 循环 133创建字典 133其他字典函数 139应用你学会的循环技能 140回顾列表 140列表的索引 141从列表中解包多个值 143用range()函数定义一个列表 143列表和字符串的比较 145列表和字符串之间转换 146向列表中添加元素 147从列表中删除元素 148查找列表的内容 148给列表排序 148识别列表及字符串中*有的元素 149列表推导式 150总结 152进一步学习 153第10章 读取与写入文件 154目标概述 154从文件中逐条读取每一行内容 156读取数据文件之前的注意事项 156打开并读取文本文件 157用strip()删除行尾字符 159跳过标题行 159从行中解析数据 160将行拆分为数据字段 160从列表中选择元素 161写入文件 162扼要重述文件的基本读写过程 164使用正则表达式解析值 165导入re模块 165通过re模块使用正则表达式 165research()与resub()的使用总结 167使用def创建自定义Python函数 168用新格式打包数据 173检查标记语言 173在转换期间保留信息 174转换为KML格式 174KML文件格式 174生成KML文本 175总结 179进一步学习 179第11章 合并文件 180从多个文件中读取数据 180使用sysargv 获取用户的输入内容 181将所有参数转换为文件列表 183使用sysstderrwrite()提供反馈 184循环遍历文件列表 185打印输出并生成标题行 187避免硬编码软件 187文件读取的其他应用 190总结 192进一步学习 192第12章 模块与库 194导入模块 194更多来自标准库的内置模块 196urllib模块 196os模块 197math模块 197random模块 198time模块 199第三方模块 200NumPy 201BioPython202其他第三方模块 203制作自己的模块 204继续深入学习Python 205总结 206进一步学习 206第13章 调试策略 207在调试中学习 207通用策略 208建立工作元素 208思考你的假设 208具体的调试技术 209隔离问题 209编写冗长的软件 210错误信息及其含义 211常见的Python错误 211shell错误 212让你的程序更有效率 212优化 212使用try和except来处理错误 213当你实在被困住时 214总结 215进一步学习 215第四部分 多种方法合并第14章 选择和组合工具 219你的工具箱 219数据处理任务的类别 219获取数字数据 219重新格式化文本文件 222综合考虑 226总结 226进一步学习 226第15章 关系型数据库 227电子表格和数据组织 227数据管理系统 229剖析一个数据库 230安装MySQL 231开始使用MySQL和SQL 233连接到命令行中的MySQL服务器 233创建数据库和表 235向表中添加数据行和显示表的内容 239在Python中与MySQL进行交互 240解析输入的文本 241从数据中构造SQL 243从Python中执行SQL命令 244将文本文件导入到表格中 249创建ctd表 250用LOAD DATA命令导入数据文件 251以SQL文件的形式导出和导入数据库 253用SQL探索数据 253用SELECT和COUNT命令汇总表 253用GROUP BY校对数据 255SQL中的数学运算 256用WHERE对行进行精确选择 256用UPDATE修改行 259跨表选择数据 260使用Python生成输出 262继续向前看 264数据库用户和安全性 264创建一个root密码 265添加一个新的MySQL用户 265总结 266进一步学习 267**阅读 267第16章 高级的shell和管道命令 268其他有用的shell 命令 268用head和tail提取行 268用cut提取列 268用sort对行排序 270用uniq分离出*有的行 271高级shell函数的整