物联网大数据分析实战

第1章 物联网分析和挑战 1

1.1 虚拟情境 1

1.2 物联网分析的定义 4

1.2.1 分析的定义 4

1.2.2 物联网的定义 6

1.2.3 受限的概念 8

1.3 物联网数据分析的挑战 8

1.3.1 大数据量 8

1.3.2 与时间相关的问题 10

1.3.3 与空间相关的问题 12

1.3.4 数据质量问题 13

1.3.5 分析方面的挑战 14

1.4 和商业价值发现相关的考虑因素 15

1.5 小结 15

第2章 物联网设备和网络协议 17

2.1 物联网设备 17

2.1.1 物联网设备的缤纷世界 18

2.1.2 医疗保健 18

2.1.3 制造业 18

2.1.4 运输和物流 19

2.1.5 零售业 19

2.1.6 石油和天然气 19

2.1.7 家庭自动化和监控 20

2.1.8 可穿戴设备 20

2.1.9 传感器类型 20

2.2 有关网络的基础知识 21

2.3 物联网网络连接协议 23

2.3.1 电源受限时的连接协议 23

2.3.2 电源不受限时的连接协议 33

2.4 物联网网络数据消息传递协议 36

2.4.1 MQTT 36

2.4.2 超文本传输协议 44

2.4.3 CoAP 46

2.4.4 DDS 49

2.4.5 DDS的常见用例 51

2.5 分析数据以推断协议和设备特征 52

2.6 小结 54

第3章 云和物联网分析 55

3.1 构建弹性数据分析 56

3.1.1 关于云基础设施 56

3.1.2 弹性分析的概念 58

3.1.3 设计时要考虑*终结果 60

3.2 可扩展设计 60

3.2.1 解耦关键组件 60

3.2.2 封装分析 60

3.2.3 与消息队列解耦 61

3.2.4 分布式计算 63

3.2.5 避免将分析局限在一台服务器上 63

3.2.6 使用一台服务器的恰当时机 63

3.2.7 假设变化一直发生 63

3.2.8 利用托管服务 64

3.2.9 使用应用程序编程接口 64

3.3 云安全和数据分析 66

3.3.1 公钥/私钥 66

3.3.2 公共子网与私有子网 66

3.3.3 访问限制 66

3.3.4 保护客户数据的安全 67

3.4 AWS概述 67

3.4.1 AWS关键概念 69

3.4.2 AWS关键核心服务 70

3.4.3 用于物联网分析的AWS关键服务 74

3.5 Microsoft Azure概述 76

3.5.1 Azure数据湖存储 76

3.5.2 Azure分析服务 77

3.5.3 HDInsight 78

3.5.4 R服务器选项 78

3.6 ThingWorx概述 79

3.6.1 ThingWorx Core 80

3.6.2 ThingWorx Connection Services 80

3.6.3 ThingWorx Edge 81

3.6.4 ThingWorx概念 82

3.7 小结 84

第4章 创建AWS云分析环境 85

4.1 AWS CloudFormation概述 85

4.2 AWS虚拟私有云设置 87

4.2.1 为NAT和Bastion实例创建密钥对 88

4.2.2 创建S3存储桶来存储数据 90

4.3 为物联网分析创建VPC 91

4.3.1 关于NAT网关 92

4.3.2 关于Bastion主机 92

4.3.3 关于VPC架构 93

4.3.4 VPC创建演练 94

4.4 如何终止和清理环境 102

4.5 小结 105

第5章 收集所有数据的策略和技术 107

5.1 数据处理 108

5.1.1 Amazon Kinesis 108

5.1.2 AWS Lambda 108

5.1.3 AWS Athena 109

5.1.4 AWS物联网平台 110

5.1.5 Microsoft Azure IoT Hub 111

5.2 将大数据技术应用于存储 113

5.2.1 关于Hadoop 113

5.2.2 Hadoop集群架构 116

5.2.3 关于节点 117

5.2.4 节点类型 117

5.2.5 Hadoop分布式文件系统 117

5.2.6 Apache Parquet 119

5.2.7 Avro 122

5.2.8 Hive 123

5.2.9 序列化/反序列化 126

5.2.10 Hadoop MapReduce 126

5.2.11 YARN 127

5.2.12 HBase 128

5.2.13 Amazon DynamoDB 128

5.2.14 Amazon S3 129

5.3 数据处理和Apache Spark 129

5.3.1 关于Apache Spark 129

5.3.2 Apache Spark和大数据分析 130

5.3.3 单机和机器集群的比较 131

5.3.4 使用Apache Spark进行物联网数据处理 132

5.4 数据流 134

5.4.1 流数据分析 134

5.4.2 Lambda架构 135

5.5 处理更改 136

5.6 小结 137

第6章 了解数据—探索物联网数据 139

6.1 探索和可视化数据 140

6.1.1 Tableau概述 140

6.1.2 了解数据质量 142

6.1.3 查看数据 142

6.1.4 数据的完整性 144

6.1.5 数据的有效性 149

6.1.6 评估信息滞后情况 151

6.1.7 代表性 152

6.1.8 基本时间序列分析 152

6.1.9 关于时间序列 152

6.1.10 应用时间序列分析 152

6.1.11 了解数据中的分类 156

6.1.12 引入地理信息分析 156

6.2 寻找可能具有预测价值的特性 157

6.3 使用R语言 158

6.3.1 安装R和RStudio 158

6.3.2 使用R进行统计分析 158

6.4 数据探索初步结果 162

6.5 解决特定行业的分析问题 162

6.5.1 制造业 162

6.5.2 医疗保健 163

6.5.3 零售业 164

6.6 小结 164

第7章 增强数据价值—添加内部和外部数据集 165

7.1 添加内部数据集 166

7.2　添加外部数据集 168

7.2.1　外部数据集—地理 168

7.2.2　外部数据集—人口统计 175

7.2.3　外部数据集—经济 178

7.3　小结 181

第8章 与他人交流—可视化和仪表板 183

8.1 可视化设计中的常见错误 184

8.1.1 避免可视化错误的技巧 185

8.1.2 可视化错误示例 186

8.2 问题分层方法 187

8.2.1 问题分层方法概述 188

8.2.2 开发问题树 189

8.2.3 将所需的数据汇总在一起 192

8.2.4 使视图与问题流保持一致 192

8.3 物联网数据分析的可视化设计 192

8.3.1 使用位置来传达重要性 193

8.3.2 使用颜色突出显示重要数据 193

8.3.3 单一颜色对传达重要信息的影响 193

8.3.4 在视觉效果上保持一致 194

8.3.5 使图表易于解释 195

8.4 使用Tableau创建仪表板 195

8.4.1 仪表板创建演练 195

8.4.2 问题层次结构示例 196

8.4.3 使视图与思维过程保持一致 197

8.4.4 创建单独的视图 198

8.4.5 将视图组装到仪表板中 201

8.5 创建和可视化警报 203

8.5.1 警报设计原则 203

8.5.2 使用Tableau仪表板组织警报 203

8.6 小结 206

第9章 对物联网数据应用地理空间分析 209

9.1 对物联网数据应用地理空间分析的优点 210

9.2 地理空间分析的基础知识 212

9.2.1 欢迎来到空岛 212

9.2.2 坐标参考系统 213

9.2.3 地球并非完美球体 213

9.3 基于向量的方法 216

9.3.1 边界框 217

9.3.2 包含 218

9.3.3 缓冲 219

9.3.4 膨胀和侵蚀 219

9.3.5 简化 221

9.3.6 研究更多基于向量的方法 221

9.4 基于栅格的方法 221

9.5 存储地理空间数据 223

9.5.1 文件格式 223

9.5.2 关系数据库的空间数据扩展 224

9.5.3 在HDFS中存储地理空间数据 225

9.5.4 空间数据索引 225

9.5.5　R树 226

9.6 处理地理空间数据 227

9.6.1 地理空间分析软件 227

9.6.2　PostGIS空间数据函数 230

9.6.3 大数据世界中的地理空间分析 231

9.7 解决污染报告问题 231

9.8 小结 232

第10章 物联网分析和数据科学 235

10.1 机器学习 236

10.1.1 关于机器学习 236

10.1.2 表示 238

10.1.3 评估 238

10.1.4 优化 238

10.1.5 泛化 240

10.2 使用物联网数据进行特征工程 241

10.2.1 处理缺失值 241

10.2.2 居中和缩放 247

10.2.3 时间序列处理 248

10.3 验证方法 249

10.3.1 交叉验证 249

10.3.2 测试集 250

10.3.3 精确率、召回率和特异性 251

10.4 理解偏差-方差权衡 253

10.4.1 偏差 253

10.4.2 方差 254

10.4.3 权衡和复杂性 255

10.5 使用R比较不同的模型 256

10.5.1 ROC曲线 256

10.5.2 曲线下面积 260

10.6 使用R构建随机森林模型 261

10.6.1 随机森林关键概念 261

10.6.2 随机森林R示例 262

10.7 使用R构建梯度提升机模型 264

10.7.1 GBM的关键概念 265

10.7.2 梯度提升机R示例 266

10.7.3 集成方法 267

10.8 使用R进行异常检测 268

10.9 使用ARIMA进行预测 269

10.9.1 关于ARIMA 269

10.9.2 使用R预测时间序列物联网数据 270

10.10 深度学习 271

10.10.1 使用物联网数据进行深度学习的用例 272

10.10.2 深度学习纵览 272

10.10.3 在AWS上设置TensorFlow 274

10.11 小结 274

第11章 组织数据的策略 275

11.1 链接分析数据集 276

11.1.1 分析数据集 276

11.1.2 构建分析数据集 276

11.1.3 将数据集链接在一起 278

11.2 管理数据湖 281

11.2.1 防止数据湖变成数据沼泽 281

11.2.2 数据提炼 281

11.2.3 数据开发过程 282

11.3 数据保留策略 283

11.3.1 目标 284

11.3.2 物联网数据的保留策略 284

11.3.3　保留策略示例 286

11.4 小结 287

第12章 物联网分析的经济意义 289

12.1 云计算的经济意义 290

12.1.1 可变成本与固定成本 290

12.1.2 退出选项 291

12.1.3 云成本可能会迅速上升 292

12.1.4 密切监控云计费 292

12.2 开源软件的经济意义 292

12.2.1 知识产权考虑 292

12.2.2 可扩展性 293

12.2.3 技术支持 294

12.3 物联网分析的成本考虑 294

12.3.1 云服务成本 294

12.3.2 考虑未来使用需求 294

12.4 考虑增加收入的机会 294

12.4.1 对当前业务的拓展 295

12.4.2 新的收入机会 295

12.5 预测性维护的经济意义示例 297

12.5.1 预测性维护的现实情境 297

12.5.2 价值公式 297

12.5.3 价值决策示例 298

12.6 小结 305

第13章 总结和建议 307

13.1 本书关键主题回顾 307

13.1.1 物联网数据流 308

13.1.2 物联网探索性分析 309

13.1.3 物联网数据科学 310

13.1.4 通过物联网分析增加收入 311

13.2 示例挑战项目 312

13.3 小结 313