工业大数据采集、处理与应用

前言
二维码索引
绪论 1
项目1　了解工业大数据 4
【知识目标】 4
【技能目标】 4
【项目背景】 4
任务1-1　认识工业大数据 4
【任务描述】 4
【相关知识】 5
一、大数据的概念和特征 5
二、大数据的分类 6
三、数据规模的度量 7
【任务实施】 7
一、认识工业大数据的来源 7
二、认识工业大数据的特征 10
三、工业大数据实例 11
任务1-2　 对工业大数据及其应用
进行分类 14
【任务描述】 14
【相关知识】 14
一、工业企业的运行流程 14
二、工业大数据的分类 15
三、工业大数据的应用场景 17
【任务实施】 19
一、认识工业大数据的应用类型 19
二、工业大数据应用实例 20
任务1-3　了解工业大数据系统架构 23
【任务描述】 23
【相关知识】 24
一、静态数据和流数据 24
二、批量计算和流式计算 24
【任务实施】 26
一、认识工业大数据的架构 26
二、认识Hadoop 28
三、认识Hadoop分布式文件系统 28
四、认识并行计算框架MapReduce 29
五、安装Linux操作系统 30
六、安装Hadoop 30
拓展知识　大数据技术框架 32
项目2　工业大数据采集 36
【知识目标】 36
【技能目标】 36
【项目背景】 36
任务2-1　了解工业数据采集 36
【任务描述】 36
【相关知识】 37
一、工业现场网络 37
二、工业数据采集常见的网络协议 39
三、工业数据的采集方式 42
四、数据的存储 45
【任务实施】 45
一、准备安装IoTHub 45
二、安装Sentinel Runtime 45
三、安装IoTHub 46
任务2-2　采集PLC数据 48
【任务描述】 48
【相关知识】 48
一、PLC的组成 48
二、PLC的特点 49
三、PLC连接的信号类型 49
四、PLC的通信 50
【任务实施】 50
一、安装Agent 51
二、创建并连接控制器 53
三、定义变量 56
目 录
— VIII —
工业大数据采集、处理与应用
四、数据存储 58
任务2-3　采集PTL数据 65
【任务描述】 65
【相关知识】 66
一、PTL系统的构成 66
二、PTL系统的特点 68
三、PTL系统的功能 68
四、PTL系统的结构 68
【任务实施】 69
一、安装Agent 70
二、创建并连接控制器 71
三、查看变量 74
四、任务下发 75
五、数据存储 77
拓展知识　ERP与MES的集成 78
项目3　工业大数据预处理 81
【知识目标】 81
【技能目标】 81
【项目背景】 81
任务3-1　清洗、转换、加载工业大数据 81
【任务描述】 81
【相关知识】 83
一、ETL的概念 83
二、数据抽取 83
三、数据清洗 84
四、数据转换 85
五、数据加载 85
六、ETL工具Kettle 86
【任务实施】 89
一、下载、安装并启动Kettle 90
二、分析数据问题 91
三、处理流程设计 93
四、读入数据 94
五、过滤数据 97
六、补缺失值 98
七、替换数据列 99
八、值映射 100
九、输出到文件 101
十、执行转换 102
十一、保存转换文件 102
任务3-2　建立数据仓库 102
【任务描述】 102
【相关知识】 103
一、数据库 103
二、数据仓库 104
三、Hive 105
【任务实施】 108
一、下载并安装Hive 108
二、安装并配置MySQL 110
三、启动Hive 110
四、创建数据库 110
五、创建数据表 111
六、加载数据 112
任务3-3　查询工业大数据 112
【任务描述】 112
【相关知识】 112
Hive的查询语言 112
【任务实施】 114
一、准备工作 114
二、启动Hive 114
三、打开数据库 114
四、查询 114
五、分组统计 115
六、排序1 115
七、排序2 115
八、条件查询 115
九、输出文件 116
拓展知识 116
一、数据仓库的建模 116
二、数据仓库的分层 118
项目4　 工业大数据建模 120
【知识目标】 120
【技能目标】 120
【项目背景】 120
任务4-1　使用UML建模工具 120
【任务描述】 120
【相关知识】 121
一、UML 121
— IX —
目　　录
二、转换至关系模式 124
三、UML工具 125
【任务实施】 126
一、安装StarUML 126
二、新建工程 126
三、操作界面 127
四、基本操作 128
五、画类 132
六、画关系 132
任务4-2　建立设备信息模型 133
【任务描述】 133
【相关知识】 134
一、信息模型 134
二、设备信息 135
【任务实施】 137
一、新建工程 137
二、添加类图 137
三、画类 137
四、添加属性 137
任务4-3　建立生产过程信息模型 138
【任务描述】 138
【相关知识】 138
一、生产过程 138
二、生产过程信息示例 140
【任务实施】 141
一、新建工程 141
二、添加类图 141
三、画类 141
四、添加属性 141
五、添加关系 141
拓展知识　数字孪生 142
项目5　工业大数据分析 143
【知识目标】 143
【技能目标】 143
【项目背景】 143
任务5-1　使用大数据分析工具 143
【任务描述】 143
【相关知识】 144
一、大数据分析过程 144
二、大数据分析的关键 145
三、基于大数据的机器学习 146
【任务实施】 147
一、下载并安装Weka 147
二、Weka的操作界面 149
三、Weka的数据及类型 150
四、Weka的文件格式 151
任务5-2　使用回归算法预测 152
【任务描述】