工业大数据分析算法实战/大数据与智能+产教融合丛书

丛书序一 丛书序二 前言 第1章 工业大数据分析概览 1 1.1 工业大数据分析的范畴与特点 1 1.1.1 数据分析的范畴 1 1.1.2 典型分析主题 2 1.1.3 工业数据分析的特点 4 1.1.4 数据分析的典型手段 5 1.2.1 CRISP-DM简介 9 1.2.2 分析课题的执行路径 10 1.3.1 脚本语言软件 12 1.3.2 图形化桌面软件 13 1.3.3 云端分析软件 14 1.4.1 分析算法理解的维度与路径 15 1.4.2 必读图书 16 1.4.3 分析算法背后的朴素思想 18 1.4.4 工程化思维 20 2.1 数据操作基础 23 2.1.1 数据框的基本操作 23 2.1.2 数据可视化 24 2.2.1 cumsum等primitive函数的利用:避免循环 25 2.2.2 带时间戳的数据框合并 26 2.2.3 时序数据可视化:多个子图共用一个x轴 29 2.2.4 时序数据可视化:NA用来间隔显示时序 31 2.2.5 参数区间的对比显示（在概率密度图上） 31 2.2.6 获取R文件的所在路径 32 2.2.7 分段线性回归如何通过lm（）实现 33 2.3.1 引言 33 2.3.2 R语言EDA包 34 2.3.3 其他工具包 36 2.3.4 小结 37 2.4.1 数据的业务化 38 2.4.2 业务的数据化 41 2.4.3 机理演绎法 45 2.4.4 细致求实的基本素养 48 2.4.5 小结 50 2.5.1 基于数据类型的特征提取 51 2.5.2 基于关联关系的特征自动生成 54 2.5.3 基于语法树的变量间组合特征生成 55 2.6.1 特征选择的框架 56 2.6.2 搜索策略 57 2.6.3 子集评价 59 2.6.4 小结 65 3.1 统计分析 67 3.1.1 概率分布 69 3.1.2 参数估计 69 3.1.3 假设检验 72 3.2.2 基于核函数的非参数方法 73 3.2.3 单概率分布的参数化拟合 76 3.2.4 混合概率分布估计 79 3.2.5 小结 81 3.3.1 引言 82 3.3.2 基础线性回归模型———OLS模型 82 3.3.3 OLS模型检验 85 3.3.4 鲁棒线性回归 91 3.3.5 结构复杂度惩罚（正则化） 94 3.3.6 扩展 94 3.4.1 引言 96 3.4.2 前向计算过程 98 3.4.3 后剪枝过程 99 3.4.4 变量重要性评价 99 3.4.5 MARS与其他算法的关系 100 3.5.1 ANN逼近能力的直观理解 101 3.5.2 极限学习机 106 3.6.1 决策树的概念 111 3.6.2 决策树构建过程 112 3.6.3 常用决策树算法 113 3.7.1 引言 117 3.7.2 epsilon-SVR算法 118 3.7.3 nu-SVR算法 122 3.7.4 不同SVM算法包的差异 123 3.7.5 扩展 124 3.8.1 引言 124 3.8.2 工作原理 125 3.8.3 示例 126 3.8.4 讨论 128 3.9.1 引言 129 3.9.2 朴素贝叶斯 130 3.9.3 贝叶斯网络 131 3.9.4 一般图模型 134 3.9.5 讨论与扩展阅读 140 3.10.1 引言 141 3.10.2 Bagging方法 142 3.10.3 Boosting方法 143 3.10.4 Stacking方法 149 3.11.1 引言 157 3.11.2 评价指标 157 3.11.3 评价方法 163 3.11.4 特征重要度 165 3.12.1 引言 167 3.12.2 基于距离的聚类:K-means、PAM 167 3.12.3 基于层次的聚类:Hclust 169 3.12.4 基于密度的聚类:DBSCAN 171 3.12.5 基于分布的聚类:GMM 173 3.12.6 聚类结果的评价 173 3.13.1 引言 176 3.13.2 关联规则概念与度量指标 176 3.13.3 关联规则实现过程 176 3.13.4 关联规则算法 177 3.13.5 关联规则可视化 180 3.13.6 关联规则评价 182 3.14.1 引言 183 3.14.2 深度学习算法分类 183 3.14.3 深度学习框架 189 3.14.4 常见疑惑 194 3.14.5 深度学习算法的加速 196 3.15.1 计算负载模式 196 3.15.2 并行化计算 199 3.15.3 新计算范式 200 4.1 时序算法简介 210 4.2.1 傅里叶变换的直观理解 212 4.2.2 时频分析 216 4.2.3 时序变换 223 4.2.4 压缩感知 230 4.3.1 STL 234 4.3.2 奇异谱分析 238 4.3.3 EMD及扩展方法 245 4.4.1 Changepoint 250 4.4.2 TreeSplit 253 4.4.3 Autoplait 254 4.4.4 应用示例 255 4.6.1 数值型频繁模式 264 4.6.2 符号型频繁模式 266 4.7.1 基于度量的方法 270 4.7.2 基于模型重构的方法 271 4.7.3 基于频繁模式挖掘的方法 271 4.8.1 DTW距离 277 4.8.2 SAX距离 277 4.9.1 经典分析算法 281 4.9.2 深度学习的方法 282 4.10.1 基于时序分解的预测算法 288 4.10.2 基于回归建模的预测算法 289 5.1 优化算法 293 5.1.1 模型分类 293 5.1.2 经典组合优化模型 297 5.1.3 典型工具 300 5.3.1 算法分类 303 5.3.2 典型工具 305 5.4.1 文本数据 306 5.4.2 图像数据 311 5.4.3 时空数据 318 6.1 工业分析中的数据预处理 322 6.1.1 工况划分 322 6.1.2 数据缺失 323 6.1.3 时间数据不连续 324 6.1.4 强噪声 324 6.1.5 大惯性系统 324 6.1.6 趋势项的消除 324 6.3.1 毛刺检测特征 330 6.3.2 单调趋势模式 331 6.3.3 平稳过程的漂移检测 331 6.3.4 多点位不一致 332 6.3.5 超界 333 6.3.6 变点检测 333 6.3.7 一维曲线平滑与分区 335 6.3.9 持续某种状态 336 6.4.1 工业时序数据的特点 338 6.4.2 短时序分类问题 339 6.4.3 长时序分类问题 341 6.4.4 不同类型问题的转换 342 7.1 概述 345 7.2.1 物料跟踪模型 347 7.2.2 过程稳定性监控 348 7.4.1 应用示例 352 7.4.2 工况划分 354 7.4.3 操作参数优化 355 7.4.4 其他分析 356 7.5.1 应用示例 356 7.5.2 理想工艺过程拟合 360 7.5.3 动态控制优化 361 7.6.1 应用示例 363 7.6.2 佳工艺路径挖掘 364 7.6.3 异常排查 364 7.6.4 操作参数优化 365 8.1 决策优化问题的建模思路 370 8.2.1 绝对值 372 8.2.2 Min-Max问题 373 8.2.4 范围约束 374 8.3.1 决策变量值域不连续 374 8.3.2 目标函数不连续 375 8.3.3 或关系约束 376 8.3.4 条件型约束 376 8.3.5 逻辑表达式 376 8.3.6 消除变量相乘 377 8.3.7 大M法 377 8.4.1 业务问题描述 378 8.4.2 问题一:路线优化 379 8.4.3 问题二:排班计划 380 8.4.4 思考与小结 384 8.5.1 预测量的要素分解方法 386 8.5.2 例外场景的处理 387 8.5.3 宏观环境变化的处理方法 388 9.1 讨论范畴 390 9.1.1 知识类型 390 9.1.2 技术方法 391 9.1.3 业务领域 392 9.1.4 方法论的作用 392 9.1.5 现有的知识沉淀方法论 392 9.3.1 共性要素 394 9.3.2 传感器异常报警 394 9.3.3 异常预警:“特征量-征兆量-研判规则”的范式 397 9.3.4 健康评估:“劣化度-健康度-综合评价”的范式 400 9.3.5 故障类型研判:“特征量-证据/现象-推理逻辑”的范式 401 9.3.6 故障处置效果监控:“症状-异常类型/严重等级-处置措施-状态”的范式 401 9.3.8 性能优化:无固定范式 403 9.5.1 专家规则驱动的方法:AI-FIT-PM过程模型 406 9.5.2 少量样本驱动的方法 419 9.5.3 数据驱动的方法 423 9.5.4 不同方法间的转化 423 9.6.1 领域建模 424 9.6.2 模型研发环境 424 9.6.3 模型部署运行环境 425 9.9.1 案例背景 431 9.9.2 系统动力学模型 434 9.9.3 异常预警规则模型 435 9.9.4 故障排查逻辑 436 10.1 数据分析项目失败的原因 440 10.3.1 应用范式 444 10.3.2 模型格式 446 10.4.1 MLOps的内容 447 10.4.2 MLOps与其他Ops的关系 449 10.4.3 MLOps的支撑软件 450 10.4.4 工业数据分析MLOps的特点 451 10.4.5 MLOps的适用范围 452 10.5.1 分析服务引擎 452 10.5.2 Web应用引擎 453 10.6.1 交互式报告工具 457 10.6.2 基于Markdown的报告工具 458 10.6.3 基于Office API的报告工具 459 10.7.1 任务管理 460 10.7.2 计算并行化 460 参考文献