大数据分析基础

第1章　大数据的获取 001
1.1　大数据获取方式 001
1.1.1　网络公开数据获取 001
1.1.2　网络爬虫获取 007
1.2　使用GooSeeker获取网络数据 015
1.2.1　GooSeeker简介 015
1.2.2　GooSeeker的优势与应用 015
1.2.3　GooSeeker的操作步骤 016
1.3　使用Python获取网络数据 018
1.3.1　Python和PyCharm介绍 019
1.3.2　Python的优势和适用领域 019
1.3.3　Python和PyCharm的下载安装 020
1.3.4　Python和PyCharm的使用步骤 022
1.3.5　使用Python爬取网络数据的步骤 025
本章小结 027
核心概念 028
思考题 028
第2章　文本分析 029
2.1　文本分析概述 029
2.1.1 文本分析的概念 029
2.1.2 文本分析的对象 030
2.1.3 文本分析的流程 031
2.1.4　文本分析的应用 032
2.2　文本规范化 033
2.2.1　词语切割 033
2.2.2　停用词去除 044
2.2.3　词干提取 046
2.2.4　词形还原 047
2.2.5　词性标注 048
2.2.6　词频统计与词云图制作 052
2.3　文本关键词提取 054
2.3.1　关键词提取方法的分类 054
2.3.2　关键词提取算法 055
2.4　文本向量化 058
2.4.1　离散表示 059
2.4.2　分布式表示 059
2.4.3　Word2vec实现文本向量化或
进行词向量的训练 063
2.4.4　文本向量化的应用 065
2.5　文本分析技术操作 065
2.5.1　词性标注与词频统计 065
2.5.2　关键词提取与词云图制作 067
2.6　案例分析 068
2.6.1　文本分析在媒体报道中的应用 068
2.6.2　文本分析在社交媒体平台中的应用 069
本章小结 075
核心概念 076
思考题 077
第3章　情感分析 078
3.1　情感分析概述 078
3.1.1 情感分析的概念 078
3.1.2 情感分析的分类 078
3.1.3 情感分析的研究框架 079
3.2　英文文本情感分析 080
3.2.1　情感信息抽取 080
3.2.2　情感信息分类 087
3.3　中文文本情感分析 091
3.3.1　基于词典匹配的情感分类方法 091
3.3.2　有监督机器学习的情感分类方法 096
3.3.3　中文文本情感分析的Python实现案例 098
3.4　研究案例 107
3.4.1　情感分析在风险传播研究中的应用 107
3.4.2　情感分析在健康传播研究中的应用 108
3.4.3　情感分析在传播学研究中的方法探索 112
本章小结 113
核心概念 113
思考题 115
第4章　聚类分析 116
4.1　聚类分析概述 117
4.1.1　认识聚类和簇 117
4.1.2　聚类分析的概念 119
4.1.3　聚类分析的分类 120
4.1.4　聚类分析的原理及基本过程 121
4.2　聚类分析方法 122
4.2.1　K-means聚类 122
4.2.2　DBSCAN 132
4.2.3　凝聚层次聚类 134
4.3　实战演练 137
4.4　案例介绍 141
4.4.1　聚类分析在新闻报道研究中的运用 141
4.4.2　聚类分析在社交媒体研究中的运用 143
本章小结 146
核心概念 147
思考题 147
第5章　主题模型 148
5.1　主题模型概述 149
5.1.1　主题模型的概念 149
5.1.2　主题模型的主要内容 150
5.1.3　主题模型涉及的数学概念 154
5.2　主要模型类型 156
5.2.1　LSA模型和pLSA模型 156
5.2.2　LDA模型 158
5.3　技术操作 160
5.3.1　系统配置和文本预处理 160
5.3.2　LDA模型分析 164
5.3.3　结果探讨 167
5.4　案例研究 170
5.4.1　LDA模型在传播学中的方法探索 171
5.4.2　LDA模型的传播学分析实践 172
5.4.3　主题模型在科学传播研究中的应用 174
5.4.4　主题模型在政治传播研究中的应用 176
5.4.5 主题模型的主要应用方向及面临的挑战 178
本章小结 179
核心概念 179
思考题 180
第6章　机器学习 182
6.1　机器学习概述 182
6.1.1　机器学习的定义及关键术语 182
6.1.2　机器学习的分类及步骤 184
6.2　线性回归算法 187
6.2.1　原理简述及基本概念介绍 187
6.2.2　线性回归算法的Python
实现 189
6.3　支持向量机 191
6.3.1　原理简述及基本概念介绍 191
6.3.2　支持向量机的Python实现 193
6.4　使用WEKA进行机器学习 195
6.5　应用机器学习发掘数据潜力 203
6.5.1　从卫星图像中提取社会经济数据并预测贫困 204
6.5.2　通过视频观测政治候选人的情绪表现如何影响选民印象 205
本章小结 207
核心概念 207
思考题 208
第7章　自动文本分析 209
7.1　自动文本分析概述 209
7.1.1　自动文本分析的发展历程 209
7.1.2　自动文本分析的原则 210
7.1.3　自动文本分析的步骤 211
7.2　有监督机器学习 216
7.2.1　有监督机器学习概述 216
7.2.2 有监督机器学习的步骤 217
7.3　有监督机器学习下文本分类的不同算法 219
7.3.1　统计学习算法：朴素贝叶斯 219
7.3.2　基于实例分类：K近邻法 223
7.3.3　基于逻辑的算法：决策树 224
7.4　不同算法的机器学习应用 226
7.4.1　前期操作 226
7.4.2　数据预处理 228
7.4.3　引入算法 229
7.5　案例研究 231
7.5.1　自动文本分析在政治传播研究中的应用 231
7.5.2　自动文本分析在文化研究中的应用 233
7.5.3　自动文本分析在健康传播研究中的应用 235
本章小结 237
核心概念 237
思考题 238
第8章　社会网络分析 239
8.1　社会网络分析概述 239
8.1.1　社会网络的概念 239
8.1.2　社会网络分析基础知识 240
8.1.3　社会网络的形式化表达 242
8.1.4　社会网络的常见分类 243
8.2　整体网络测量 246
8.2.1　密度 246
8.2.2　核心边缘结构 248
8.3　中心性分析 249
8.3.1　点度中心性 249
8.3.2　中间(中介)中心性 253
8.3.3　接近中心性(整体中心性) 255
8.3.4　特征向量中心性 256
8.4　凝聚子群分析 257
8.5　使用UCINET进行社会网络计算 257
8.5.1　UCINET的运行环境 257
8.5.2　UCINET数据导入导出与数据处理 259
8.6　网络可视化分析 266
8.6.1　NetDraw 266
8.6.2　Gephi 266
8.6.3　导出数据 271
8.7　案例研究 271
8.7.1　社会网络分析在网络结构研究中的应用 271
8.7.2　社会网络分析在社会资本研究中的应用 273
8.7.3　社会网络分析在同质性研究中的应用 274
本章小结 276
核心概念 276
思考题 277
第9章　语义网络分析 278
9.1　语义网络分析概述 278
9.1.1　语义网络分析的基本概念 278
9.1.2　语义网络分析的流程结构 278
9.2　语义网络分析的结构特征 279
9.3　语义网络分析的常用工具 280
9.3.1　ROST CM6 280
9.3.2　Python 282
9.3.3　结果探讨 287
9.4　研究案例 288
9.4.1　语义网络分析在学科发展领域的应用 288
9.4.2　语义网络分析在媒体报道分析层面的应用 291
9.4.3　语义网络分析在数字平台用户层面的应用 294
本章小结 296
核心概念 297
思考题 297
第10章　虚拟仿真 298
10.1　虚拟仿真概述 298
10.1.1　虚拟仿真的基本概念 298
10.1.2 ABM的发展和应用 299
10.1.3 ABM建模 300
10.1.4　ABM的核心概念 301
10.1.5　ABM方法的优点 302
10.2　NetLogo 303
10.2.1　基本编程概念 303
10.2.2　认识NetLogo 304
10.3　实战演练 310
10.3.1　模拟程序的流程 310
10.3.2　SIR模型 312
10.4　案例分析 320
10.4.1　ABM仿真模拟的两个研究方向 320
10.4.2　ABM仿真模拟在信息传播和社交媒体中的应用 322
10.4.3　ABM仿真模拟在健康传播中的应用 324
本章小结 325
核心概念 326
思考题 326