MongoDB从入门到商业实战

第1篇 MongoDB环境的理论与实践 / 1 第1章 初识NoSQL数据库与MongoDB / 2 1.1 初识NoSQL数据库 / 2 1.1.1 何为NoSQL数据库 / 2 1.1.2 NoSQL数据库有哪些特征 / 3 1.1.3 为何NoSQL数据库会崛起? / 4 1.1.4 NoSQL数据库有哪些种类? / 4 1.1.5 NoSQL数据库与RDB该怎么选择呢 / 5 1.2 初识MongoDB / 6 1.2.1 何为MongoDB / 6 1.2.2 MongoDB有哪些特性 / 6 1.2.3 MongoDB适用于哪些场景 / 7 1.2.4 MongoDB中的对象 / 7 1.2.5 MongoDB的文档知识 / 9 1.2.6 MongoDB的数据类型 / 11 第2章部署MongoDB单机版 / 16 2.1 操作系统硬件规格选择 / 16 2.2 部署Windows版MongoDB / 18 2.2.1 下载软件 / 18 2.2.2 部署安装版 / 19 2.2.3 部署免安装版 / 25 2.3 部署Linux版MongoDB / 26 2.3.1 下载软件 / 26 2.3.2 启动MongoDB / 27 2.3.3 配置启动文件 / 28 2.3.4 启动/确定运行/终止服务 / 31 2.3.5 配置单机权限——Auth属性值 / 33 2.3.6 配置自启动服务 / 35 第3章 认识MongoDB集群 / 40 3.1 认识集群 / 40 3.1.1 从一个日常生活情境着手 / 40 3.1.2 mongos服务 / 44 3.1.3 config服务 / 46 3.1.4 shard服务 / 47 3.2 认识副本集(Replica Set) / 47 3.2.1 副本集简介 / 48 3.2.2 高可用(节点故障转移) / 50 3.2.3 数据读写策略 / 59 3.3 认识分片集(Sharded Cluster) / 63 3.3.1 分片集简介 / 63 3.3.2 片键(Shard Key) / 65 3.3.3 控制数据分发——分片标签 / 67 3.3.4 平衡器(Balancer) / 68 第4章 集群的配置 / 73 4.1 配置副本集 / 73 4.1.1 了解要配置的架构 / 73 4.1.2 配置数据副本集(含Arbiter) / 74 4.1.3 配置内存节点 / 78 4.2 配置分片集群 / 79 4.2.1 了解要配置的架构 / 79 4.2.2 配置config副本集 / 81 4.2.3 配置mongos / 84 4.2.4 配置集群的权限 / 87 4.2.5 配置自启动服务 / 88 4.2.6 设置数据库分片(含指定数据存放分片) / 91 4.3 集群的常用配置 / 93 4.3.1 查看分片信息状态 / 93 4.3.2 调整副本集 / 95 4.3.3 调整分片集 / 98 4.3.4 管理平衡器(Balancer) / 99 4.3.5 让数据在分片间迁移 / 100 第5章 优化Linux以提升MongoDB性能 / 101 5.1 实现所有MongoDB Server时间的 同步 / 101 5.1.1 了解时间同步(NTP) / 101 5.1.2 手动设定时间同步 / 102 5.1.3 通过服务自动实现时间同步 / 102 5.2 减少时间戳记录 / 103 5.3 关闭磁盘预读功能 / 104 5.3.1 手动关闭 / 105 5.3.2 让系统自动关闭 / 105 5.4 关闭内存管理 / 108 5.4.1 了解标准大页和透明大页 / 108 5.4.2 在CentOS 7.0中配置THP / 108 5.5 禁用“非统一内存访问”(NUMA) / 109 5.5.1 NUMA的工作原理 / 109 5.5.2 查看硬件的NUMA分配节点资源的情况 / 110 5.5.3 禁用NUMA机制 / 110 第2篇 数据管理操作 / 111 第6章 MongoDB基础操作 / 112 6.1 文档的操作 / 112 6.1.1 插入 / 112 6.1.2 更新 / 116 6.1.3 删除 / 120 6.1.4 基本查询 / 121 6.1.5 条件查询 / 122 6.1.6 正则表达式 / 124 6.1.7 内嵌文档查询 / 126 6.1.8 数据校验 / 127 6.1.9 原子性操作 / 129 6.2 集合的操作 / 131 6.2.1 集合管理 / 131 6.2.2 固定集合 / 133 6.3 创建索引 / 134 6.3.1 单字段索引 / 135 6.3.2 复合索引 / 137 6.3.3 TTL索引 / 137 6.3.4 全文本索引 / 138 6.3.5 地理空间索引 / 139 6.3.6 哈希索引(Hash Index) / 142 6.3.7 查询优化诊断 / 142 6.4 常用聚合操作 / 143 6.4.1 聚合——$group / 144 6.4.2 显示字段——$project / 145 6.4.3 数据排序、跳过几个文档、限制显示文档数量——$sort、$skip、$limit / 152 6.4.4 条件筛选——$match / 152 6.4.5 多表关联查询——$lookup / 153 6.4.6 计算文档数量——$count / 155 6.4.7 展开数组——$unwind / 155 6.4.8 结果汇入新表——$out / 156 6.5 映射和归约(MapReduce) / 157 6.5.1 MapReduce介绍 / 157 6.5.2 范例1：数据汇总 / 158 6.5.3 范例2：存成数组 / 160 6.6 存储过程 / 162 6.6.1 保存存储过程 / 162 6.6.2 查看存储过程 / 163 6.6.3 执行存储过程 / 163 第7章 大文件存储——MongoDB GridFS / 165 7.1 GridFS介绍 / 165 7.1.1 GridFS如何存储文档 / 165 7.1.2 认识chunks与files集合 / 166 7.2 GridFS操作 / 167 7.2.1 通过GridFS上传文件 / 168 7.2.2 通过GridFs查看文件列表 / 168 7.2.3 通过GridFs下载文件 / 168 7.2.4 通过GridFS删除文件 / 169 7.2.5 通过GridFS查找文件 / 169 7.2.6 GridFS的其余参数 / 169 7.3 用Python实现GridFS操作 / 170 第3篇 运维与安全管理 / 173 第8章 数据库安全管理与审计 / 174 8.1 权限管理简介 / 174 8.2 用户管理 / 175 8.2.1 创建用户与登录 / 175 8.2.2 修改用户 / 178 8.2.3 删除用户 / 179 8.2.4 查询用户 / 180 8.2.5 授予用户权限 / 183 8.2.6 撤销用户权限 / 183 8.3 角色管理 / 183 8.3.1 内建角色 / 183 8.3.2 创建自定义角色 / 186 8.3.3 修改自定义角色 / 187 8.3.4 删除自定义角色 / 188 8.3.5 查询自定义角色 / 188 8.3.6 授予角色权限 / 190 8.3.7 撤销角色权限 / 191 8.4 身份验证 / 193 8.4.1 SCRAM / 193 8.4.2 x.509 / 195 8.5 数据加密 / 198 8.5.1 动态数据加密(传输加密) / 198 8.5.2 静态数据加密 / 198 8.6 审计 / 198 8.6.1 审计的启用与配置 / 199 8.6.2 审计事件与过滤 / 199 8.7 检测安全漏洞 / 200 第9章 备份与恢复 / 202 9.1 了解备份/恢复 / 202 9.2 逻辑备份/恢复的常用命令 / 203 9.2.1 备份/恢复 / 203 9.2.2 导出/导入 / 206 9.3 物理备份/恢复的常用命令 / 210 9.4 备份/恢复的具体方案 / 211 9.4.1 单机的备份/恢复 / 211 9.4.2 副本集的备份/恢复 / 212 9.4.3 分片集群的备份/恢复 / 214 第10章 监控管理 / 216 10.1 监控MongoDB / 216 10.1.1 MongoDB自带监控工具 / 217 10.1.2 mongo shell中的监控指令 / 219 10.1.3 第三方监控工具 / 223 10.1.4 免费监控服务 / 224 10.2 官方提供的运维管理系统——MongoDB Ops Manager / 225 10.2.1 认识Ops Manager / 226 10.2.2 Ops Manager的功能 / 227 第11章 客户端软件 / 231 11.1 官方客户端软件 / 231 11.1.1 MongoDB Compass简介 / 231 11.1.2 创建数据库及集合 / 232 11.1.3 新增集合中的文档及查询数据 / 233 11.1.4 查询文档 / 233 11.1.5 进行聚合操作 / 234 11.1.6 查询执行计划 / 235 11.1.7 建立数据校验规则 / 236 11.1.8 进行监控 / 237 11.2 第三方客户端软件 / 238 11.2.1 Studio 3T for MongoDB / 238 11.2.2 Robo 3T / 245 11.2.3 NoSQL Manager / 246 11.3 总结 / 251 第4篇 应用开发与案例 / 253 第12章 用Java操作MongoDB / 254 12.1 环境准备 / 254 12.1.1 环境说明 / 254 12.1.2 配置MongoDB的Java驱动 / 255 12.2 建立连接与断开连接 / 256 12.3 应用与操作 / 259 12.3.1 新增文档 / 259 12.3.2 删除文档 / 261 12.3.3 修改文档 / 263 12.4 查询文档数据 / 266 12.4.1 限制查询结果集的大小 / 266 12.4.2 限制查询返回的字段 / 266 12.4.3 按条件进行查询 / 267 12.4.4 对查询结果分页 / 268 12.4.5 用聚合命令查询文档 / 271 12.4.6 应用索引查询 / 272 12.5 使用正则表达式 / 275 12.6 批量处理数据 / 275 12.7 创建文档关联查询 / 277 12.8 操作MongoDB GridFS / 279 12.9 小结 / 282 第13章 用C#操作MongoDB / 283 13.1 环境准备 / 283 13.1.1 环境说明 / 283 13.1.2 配置MongoDB驱动 / 284 13.2 建立连接 / 285 13.3 应用与操作 / 287 13.3.1 新增文档 / 287 13.3.2 删除文档 / 289 13.3.3 修改文档 / 290 13.4 查询文档数据 / 293 13.4.1 限制查询结果集大小 / 293 13.4.2 限制查询返回的字段 / 294 13.4.3 按条件进行查询 / 295 13.4.4 将查询结果分页显示 / 296 13.4.5 使用聚合命令查询文档 / 297 13.4.6 应用索引查询 / 299 13.5 使用正则表达式 / 301 13.6 批量处理数据 / 302 13.7 创建文档关联查询 / 302 13.8 操作MongoDB GridFS / 304 13.9 小结 / 307 第14章 用Python操作MongoDB / 308 14.1 环境准备 / 309 14.1.1 安装Python / 309 14.1.2 安装pymongo / 310 14.2 建立连接与断开连接 / 310 14.3 应用与操作 / 311 14.3.1 新增文档 / 311 14.3.2 删除文档 / 315 14.3.3 修改文档 / 316 14.4 查询文档数据 / 318 14.4.1 限制查询结果集大小 / 318 14.4.2 限制查询返回的字段 / 320 14.4.3 用复杂条件进行查询 / 322 14.4.4 将查询结果分页显示 / 323 14.4.5 用聚合方法查询文档 / 325 14.4.6 用索引查询 / 326 14.5 使用正则表达式 / 331 14.6 批量处理数据 / 333 14.7 创建文档关联查询 / 336 14.8 操作MongoDB GridFS / 339 14.9 小结 / 341 第15章 用Node.js操作MongoDB / 342 15.1 准备环境 / 342 15.1.1 安装Node.js / 342 15.1.2 安装MongoDB包 / 344 15.2 建立与断开连接 / 344 15.3 应用与操作 / 347 15.3.1 新增文档 / 347 15.3.2 删除文档 / 350 15.3.3 修改文档 / 351 15.4 查询文档 / 354 15.4.1 限制查询结果集大小 / 354 15.4.2 限制查询字段 / 357 15.4.3 查询条件使用 / 358 15.4.4 将查询结果分页 / 359 15.4.5 使用聚合方法查询文档 / 361 15.4.6 用索引进行查询 / 362 15.5 使用正则表达式 / 365 15.6 批理处理数据 / 366 15.7 创建文档关联查询 / 367 15.8 操作MongoDB GridFS / 369 15.9 小结 / 371 第16章 实际应用案例 / 372 16.1 搭建跨区域数据中心 / 372 16.1.1 需求描述 / 372 16.1.2 架构设计 / 373 16.1.3 架构配置 / 375 16.2 用MongoDB实现流式数据处理 / 378 16.2.1 任务与目标 / 378 16.2.2 问题展开 / 378 16.2.3 解决方案 / 379 16.2.4 代码编写 / 382 16.3 用“Node.js+MongoDB”实现高并发的网络聊天室 / 386 16.3.2 解决方案 / 387 16.3.3 MongoDB应用 / 387 16.3.4 代码编写 / 389