网络空间安全技术丛书基于数据科学的恶意软件分析

译者序 序 前言 致谢 作者简介 评审专家简介 第1章 恶意软件静态分析基础 1 1.1 微软Windows可移植可执行文件格式 2 1.1.1 PE头 3 1.1.2 可选头 3 1.1.3 节头 3 1.2 使用pef?ile解析PE文件格式 5 1.3 检查恶意软件的图片 7 1.4 检查恶意软件的字符串 8 1.4.1 使用字符串程序 8 1.4.2 分析镜像字符串 8 1.5 小结 10 第2章 基础静态分析进阶：x86反汇编 11 2.1 反汇编方法 11 2.2 x86汇编语言基础 12 2.2.1 CPU寄存器 13 2.2.2 算术指令 14 2.2.3 数据传送指令 15 2.3 使用peffile和capstone反汇编ircbot.exe 19 2.4 限制静态分析的因素 21 2.4.1 加壳 21 2.4.2 资源混淆 22 2.4.3 反汇编技术 22 2.4.4 动态下载数据 22 2.5 小结 23 第3章 动态分析简介 24 3.1 为什么使用动态分析 24 3.2 恶意软件数据科学的动态分析 25 3.3 动态分析的基本工具 25 3.3.1 典型的恶意软件行为 26 3.3.2 在malwr.com上加载文件 26 3.3.3 在malwr.com上分析结果 27 3.4 基本动态分析的局限 32 3.5 小结 32 第4章 利用恶意软件网络识别攻击活动 33 4.1 节点和边 34 4.2 二分网络 35 4.3 恶意软件网络可视化 37 4.3.1 失真问题 37 4.3.2 力导向算法 38 4.4 使用NetworkX构建网络 38 4.5 添加节点和边 39 4.5.1 添加属性 40 4.5.2 将网络保存到磁盘 41 4.6 使用GraphViz实现网络可视化 41 4.6.1 使用参数调整网络 42 4.6.2 GraphViz命令行工具 43 4.6.3 向节点和边添加可视属性 47 4.7 构建恶意软件网络 50 4.8 构建共享图像关系网络 53 4.9 小结 57 第5章 共享代码分析 58 5.1 通过特征提取对样本进行比较 61 5.1.1 特征袋模型如何工作 61 5.1.2 N-gram 62 5.2 使用Jaccard系数量化相似性 63 5.3 使用相似性矩阵评价恶意软件共享代码估计方法 65 5.3.1 基于指令序列的相似性 66 5.3.2 基于字符串的相似性 68 5.3.3 基于导入地址表的相似性 69 5.3.4 基于API动态调用的相似性 70 5.4 构建相似图 71 5.5 扩展相似性比较 76 5.5.1 minhash概述 77 5.5.2 minhash详述 77 5.6 构建持续的恶意软件相似性搜索系统 79 5.7 运行相似性搜索系统 84 5.8 小结 86 第6章 理解基于机器学习的恶意软件检测方法 87 6.1 基于机器学习的检测引擎构建步骤 88 6.1.1 收集训练样本 88 6.1.2 提取特征 89 6.1.3 设计好的特征 90 6.1.4 训练机器学习系统 90 6.1.5 测试机器学习系统 91 6.2 理解特征空间和决策边界 91 6.3 是什么决定了模型的好和坏：过拟合与欠拟合 96 6.4 机器学习算法的主要类型 99 6.4.1 逻辑回归 100 6.4.2 k近邻算法 103 6.4.3 决策树 106 6.4.4 随机森林 112 6.5 小结 114 第7章 评价恶意软件检测系统 115 7.1 四种可能的检测结果 115 7.1.1 检出率和误报率 116 7.1.2 检出率和误报率之间的关系 117 7.1.3 ROC曲线 118 7.2 在评价中考虑基准率 119 7.2.1 基准率如何影响精确度 120 7.2.2 在部署环境中评价精确度 120 7.3 小结 122 第8章 构建基于机器学习的检测器 123 8.1 术语和概念 124 8.2 构建一个基于决策树的检测器雏形 125 8.2.1 训练你的决策树分类器 126 8.2.2 可视化决策树 127 8.2.3 完整的示例代码 129 8.3 使用sklearn构建实际的机器学习检测器 130 8.3.1 实际的特征提取 130 8.3.2 为什么不能使用所有可能的特征 134 8.3.3 使用哈希技巧压缩特征 134 8.4 构建工业级的检测器 138 8.4.1 特征提取 138 8.4.2 训练检测器 139 8.4.3 运行检测器检测新的二进制文件 141 8.4.4 至此我们实现了什么 142 8.5 评价检测器的性能 144 8.5.1 使用ROC曲线评价检测器的功效 144 8.5.2 计算ROC曲线 144 8.5.3 将数据拆分为训练集和测试集 146 8.5.4 计算ROC曲线 147 8.5.5 交叉验证 148 8.6 下一步工作 151 8.7 小结 152 第9章 可视化恶意软件趋势 153 9.1 为什么可视化恶意软件数据很重要 153 9.2 理解我们的恶意软件数据集 155 9.2.1 将数据加载到pandas中 156 9.2.2 使用pandas DataFrame 157 9.2.3 使用条件过滤数据 159 9.3 使用matplotlib可视化数据 160 9.3.1 绘制恶意软件大小和反病毒引擎检测之间的关系 161 9.3.2 绘制勒索软件检出率 162 9.3.3 绘制勒索软件和蠕虫检测率 163 9.4 使用seaborn可视化数据 166 9.4.1 绘制反病毒引擎检出的分布图 167 9.4.2 创建小提琴图 170 9.5 小结 172 第10章 深度学习基础 173 10.1 深度学习的定义 174 10.2 神经网络是如何工作的 175 10.2.1 神经元剖析 175 10.2.2 神经元网络 178 10.2.3 通用近似定理 178 10.2.4 构建自己的神经网络 179 10.2.5 向网络中添加一个新的神经元 182 10.2.6 自动生成特征 184 10.3 训练神经网络 185 1