Linux高效运维实战

目　　录

第1篇　Web、数据库运维篇



第1章　高效Web服务器Nginx 2

1.1　为什么选择Nginx 2

1.2　安装和配置Nginx 3

1.2.1　安装Nginx 3

1.2.2　Nginx配置文件解读 5

1.3　Nginx的管理与维护 9

1.3.1　Nginx基本信息检查 9

1.3.2　Nginx的启动、关闭与重启 10

1.4　Nginx常见应用实例 11

1.4.1　Nginx中location应用实例 11

1.4.2　Nginx反向代理应用实例 12

1.4.3　Nginx中URL的重写功能以及内置变量 15

1.4.4　Nginx中虚拟主机配置实例 19

1.4.5　Nginx中负载均衡的配置实例 20

1.4.6　Nginx中HTTPS配置的实例 21

1.5　LNMP应用架构以及部署 25

1.5.1　LNMP简介 25

1.5.2　Nginx的安装 26

1.5.3　MySQL的安装 26

1.5.4　PHP的安装 30

1.5.5　Nginx下PHP-FPM的配置 32

1.5.6　测试LNMP安装是否正常 35

1.6　Nginx Tomcat架构与应用案例 36

1.6.1　Nginx Tomcat整合的必要性 36

1.6.2　Nginx Tomcat动静分离配置实例 37

1.6.3　Nginx Tomcat多Tomcat负载均衡配置实例 38

第2章　高效Web服务器Apache 39

2.1　LAMP服务套件 39

2.1.1　LAMP概述 39

2.1.2　LAMP服务环境的搭建 39

2.1.3　测试LAMP环境安装的正确性 45

2.1.4　在LAMP环境下部署phpMyAdmin工具 45

2.1.5　在LAMP环境下部署WordPress应用 46

2.2　Apache的基础配置 48

2.2.1　Apache的目录结构 48

2.2.2　Apache配置文件 49

2.3　Apache常见功能应用实例 57

2.3.1　Apache下HTTPS配置实例 57

2.3.2　反向代理功能实例 58

2.4　Apache MPM模式与基础调优 62

2.4.1　MPM模式概述 62

2.4.2　prefork MPM模式 62

2.4.3　worker MPM模式 63

2.4.4　event MPM模式 64

2.5　Apache集成Tomcat构建高效JAVA Web应用 65

2.5.1　Apache与Tomcat整合的必要性 66

2.5.2　Apache和Tomcat连接器 66

2.5.3　Apache、Tomcat和JK模块的安装 67

2.5.4　Apache与Tomcat整合配置 68

第3章　企业常见MySQL架构应用实战 74

3.1　选择Percona Server、MariaDB还是MYSQL 74

3.1.1　MySQL官方发行版 74

3.1.2　MySQL与存储引擎 74

3.1.3　Percona Server for MySQL分支 75

3.1.4　MariaDB Server 75

3.1.5　如何选择 75

3.2　MySQL命令操作 76

3.2.1　连接MySQL 76

3.2.2　修改密码 76

3.2.3　增加新用户/授权用户 76

3.2.4　数据库基础操作 77

3.2.5　MySQL表操作 78

3.2.6　备份数据库 79

3.3　MySQL备份恢复工具XtraBackup 80

3.3.1　安装XtraBackup工具包 80

3.3.2　XtraBackup工具介绍 81

3.3.3　xtrabackup备份恢复实现原理 81

3.3.4　innobackupex工具的使用 81

3.3.5　利用innobackupex进行MySQL全备份 82

3.3.6　利用innobackupex完全恢复数据库 83

3.3.7　XtraBackup针对海量数据的备份优化 84

3.3.8　完整的MySQL备份恢复例子 85

3.4　常见的高可用MySQL解决方案 86

3.4.1　主从复制解决方案 86

3.4.2　MMM高可用解决方案 86

3.4.3　Heartbeat/SAN高可用解决方案 87

3.4.4　Heartbeat/DRBD高可用解决方案 87

3.4.5　MySQL Cluster高可用解决方案 87

3.5　通过Keepalived搭建MySQL双主模式的高可用集群系统 87

3.5.1　MySQL Replication介绍 88

3.5.2　MySQL Replication实现原理 89

3.5.3　MySQL Replication常用架构 89

3.5.4　MySQL主主互备模式架构图 90

3.5.5　MySQL主主互备模式配置 91

3.5.6　配置Keepalived实现MySQL双主高可用 95

3.5.7　测试MySQL主从同步功能 97

3.5.8　测试Keepalived实现MySQL故障转移 99

3.6　MySQL集群架构MHA应用实战 100

3.6.1　MHA的概念和原理 101

3.6.2　MHA套件的组成和恢复过程 102

3.6.3　安装MHA套件 102

3.6.4　配置MHA集群 106

3.6.5　测试MHA环境以及常见问题总结 111

3.6.6　启动与管理MHA 113

3.6.7　MHA集群切换测试 114

3.7　MySQL中间件ProxySQL 117

3.7.1　ProxySQL简介 117

3.7.2　ProxySQL的下载与安装 117

3.7.3　ProxySQL的目录结构 118

3.7.4　ProxySQL库表功能介绍 118

3.7.5　ProxySQL的运行机制 120

3.7.6　在ProxySQL下添加与修改配置 121

3.8　ProxySQL MHA构建高可用MySQL读写分离架构 123

3.8.1　ProxySQL MHA应用架构 123

3.8.2　部署环境说明 123

3.8.3　配置后端MySQL 124

3.8.4　配置后端MySQL用户 124

3.8.5　在ProxySQL中添加程序账号 125

3.8.6　加载配置和变量 125

3.8.7　连接数据库并写入数据 126

3.8.8　定义路由规则 126

3.8.9　ProxySQL整合MHA实现高可用 128



第2篇　运维监控篇



第4章　运维监控利器Zabbix 130

4.1　Zabbix运行架构 130

4.1.1　Zabbix应用组件 131

4.1.2　Zabbix服务进程 131

4.1.3　Zabbix监控术语 132

4.2　安装、部署Zabbix监控平台 133

4.2.1　LNMP环境部署 134

4.2.2　编译安装Zabbix Server 137

4.2.3　创建数据库和初始化表 138

4.2.4　配置Zabbix Server端 138

4.2.5　安装与配置Zabbix Agent 140

4.2.6　安装Zabbix GUI 141

4.2.7　测试Zabbix Server监控 144

4.3　Zabbix Web配置详解 144

4.3.1　模板的管理与使用 144

4.3.2　创建应用集 145

4.3.3　创建监控项 146

4.3.4　创建触发器 149

4.3.5　创建主机组和主机 152

4.3.6　触发器动作配置 154

4.3.7　报警媒介类型配置 157

4.3.8　监控状态查看 158

4.4　Zabbix自定义监控项 160

4.4.1　Zabbix Agent端开启自定义监控项功能 160

4.4.2　让监控项接收参数 160

4.5　Zabbix的主动模式与被动模式 161

4.6　自动发现与自动注册 162

4.7　Zabbix运维监控实战案例 168

4.7.1　Zabbix监控MySQL应用实战 168

4.7.2　Zabbix监控Apache应用实战 174

4.7.3　Zabbix监控Nginx应用实战 178

4.7.4　Zabbix监控PHP-FPM应用实战 182

4.7.5　Zabbix监控Tomcat应用实战 188

4.7.6　Zabbix监控Redis实例应用实战 193

第5章　分布式监控系统Ganglia 201

5.1　Ganglia简介 201

5.2　Ganglia的组成 201

5.3　Ganglia的工作原理 203

5.3.1　Ganglia数据流向分析 203

5.3.2　Ganglia工作模式 204

5.4　Ganglia的安装 204

5.4.1　yum源安装方式 204

5.4.2　源码方式 205

5.5　配置一个Ganglia分布式监控系统 207

5.5.1　Ganglia配置文件介绍 207

5.5.2　Ganglia监控系统架构图 207

5.5.3　Ganglia监控管理端配置 207

5.5.4　Ganglia的客户端配置 208

5.5.5　Ganglia的Web端配置 209

5.6　Ganglia监控系统的管理和维护 210

5.7　Ganglia监控扩展实现机制 211

5.7.1　扩展Ganglia监控功能的方法 211

5.7.2　通过gmetric接口扩展Ganglia监控 212

5.7.3　通过Python插件扩展Ganglia监控 213

5.7.4　实战：利用Python接口监控Nginx运行状态 214

5.8　Ganglia在实际应用中要考虑的问题 217

5.8.1　网络IO可能存在瓶颈 217

5.8.2　CPU可能存在瓶颈 217

5.8.3　gmetad rrd数据写入可能存在瓶颈 217



第3篇　集群架构篇



第6章　高性能集群软件Keepalived 220

6.1　集群的定义 220

6.2　集群的特点与功能 221

6.2.1　高可用性与可扩展性 221

6.2.2　负载均衡与错误恢复 221

6.2.3　心跳检测与漂移IP 221

6.3　集群的分类 222

6.3.1　高可用集群 222

6.3.2　负载均衡集群 223

6.3.3　分布式计算集群 224

6.4　HA集群中的相关术语 225

6.5　Keepalived简介 225

6.5.1　Keepalived的用途 226

6.5.2　VRRP协议与工作原理 226

6.5.3　Keepalived工作原理 227

6.5.4　Keepalived的体系结构 227

6.6　Keepalived安装与配置 229

6.6.1　Keepalived的安装过程 229

6.6.2　Keepalived的全局配置 230

6.6.3　Keepalived的VRRPD配置 231

6.6.4　Keepalived的LVS配置 234

6.7　Keepalived基础功能应用实例 237

6.7.1　Keepalived基础HA功能演示 237

6.7.2　通过VRRP_script实现对集群资源的监控 243

第7章　高性能负载均衡集群LVS 247

7.1　LVS简介 247

7.2　LVS体系结构 247

7.3　IP负载均衡与负载调度算法 248

7.3.1　IP负载均衡技术 249

7.3.2　负载均衡机制 249

7.3.3　LVS负载调度算法 255

7.3.4　适用环境 256

7.4　LVS的安装与使用 256

7.4.1　安装IPVS管理软件 257

7.4.2　ipvsadm的用法 257

7.5　通过Keepalived搭建LVS高可用性集群系统 258

7.5.1　实例环境 258

7.5.2　配置Keepalived 259

7.5.3　配置Real Server节点 261

7.5.4　启动Keepalived LVS集群系统 263

7.6　测试高可用LVS负载均衡集群系统 263

7.6.1　高可用性功能测试 263

7.6.2　负载均衡测试 264

7.6.3　故障切换测试 264

7.7　LVS经常使用的集群网络架构 265

7.7.1　内网集群，外网映射VIP 265

7.7.2　全外网LVS集群环境 266

第8章　高性能负载均衡软件HAProxy 268

8.1　高性能负载均衡软件HAProxy 268

8.1.1　HAProxy简介 268

8.1.2　四层和七层负载均衡的区别 269

8.1.3　HAProxy与LVS的异同 270

8.2　HAProxy基础配置与应用实例 270

8.2.1　快速安装HAProxy集群软件 271

8.2.2　HAProxy基础配置文件详解 271

8.2.3　通过HAProxy的ACL规则实现智能负载均衡 277

8.2.4　管理与维护HAProxy 279

8.2.5　使用HAProxy的Web监控平台 282

8.3　搭建HAProxy Keepalived高可用负载均衡系统 283

8.3.1　搭建环境描述 283

8.3.2　配置HAProxy负载均衡服务器 284

8.3.3　配置主、备Keepalived服务器 286

8.4　测试HAProxy Keepalived高可用负载均衡集群 289

8.4.1　测试Keepalived的高可用功能 289

8.4.2　测试负载均衡功能 290



第4篇　线上服务器安全、调优、自动化运维篇



第9章　线上服务器安全运维 292

9.1　账户和登录安全 292

9.1.1　删除特殊的账户和账户组 292

9.1.2　关闭系统不需要的服务 293

9.1.3　密码安全策略 294

9.1.4　合理使用su、sudo命令 299

9.1.5　删减系统登录欢迎信息 300

9.1.6　禁止Control-Alt-Delete键盘关闭命令 301

9.2　远程访问和认证安全 301

9.2.1　采用SSH方式而非telnet方式远程登录系统 301

9.2.2　合理使用shell历史命令记录功能 303

9.2.3　启用Tcp_Wrappers防火墙 305

9.3　文件系统安全 307

9.3.1　锁定系统重要文件 307

9.3.2　文件权限检查和修改 309

9.3.3　/tmp、/var/tmp、/dev/shm安全设定 309

9.4　系统软件安全管理 311

9.4.1　软件自动升级工具yum 311

9.4.2　yum的安装与配置 311

9.4.3　yum的特点与基本用法 313

9.4.4　几个不错的yum源 315

9.5　Linux后门入侵检测与安全防护工具 316

9.5.1　rootkit后门检测工具RKHunter 317

9.5.2　Linux安全防护工具ClamAV的使用 320

9.5.3　Linux.BackDoor.Gates.5（文件级别rootkit）网络带宽攻击案例 322

9.6　服务器遭受攻击后的处理过程 326

9.6.1　处理服务器遭受攻击的一般思路 326

9.6.2　检查并锁定可疑用户 327

9.6.3　查看系统日志 328

9.6.4　检查并关闭系统可疑进程 329

9.6.5　检查文件系统的完好性 329

9.7　云服务器被植入挖矿病毒案例实录以及Redis安全防范 330

9.7.1　问题现象 330

9.7.2　分析问题 331

9.7.3　问题解决 336

9.7.4　深入探究Redis是如何被植入 338

第10章　线上服务器性能调优案例 346

10.1　线上Linux服务器基础优化策略 346

10.1.1　系统基础配置与调优 346

10.1.2　系统安全与防护策略 351

10.1.3　系统内核参数调优 355

10.2　系统性能调优规范以及对某电商平台优化分析案例 358

10.2.1　CPU性能评估以及相关工具 358

10.2.2　内存性能评估以及相关工具 360

10.2.3　磁盘I/O性能评估以及相关工具 361

10.2.4　网络性能评估以及相关工具 363

10.2.5　系统性能分析标准 366

10.2.6　动态、静态内容结合的电商网站优化案例 366

10.3　一次Java进程占用CPU过高问题的排查方法与案例分析 376

10.3.1　案例故障描述 376

10.3.2　Java中进程与线程的概念 377

10.3.3　排查Java进程占用CPU过高的思路 378

10.3.4　Tomcat配置调优 383

10.3.5　Tomcat Connector 3种运行模式（BIO、NIO、APR）的比较与优化 385

第11章　自动化运维工具Ansible 391

11.1　Ansible的安装 391

11.2　Ansible的架构与运行原理 392

11.3　Ansible主机和组的配置 394

11.4　ansible.cfg与默认配置 396

11.5　Ad-Hoc与command模块 396

11.5.1　Ad-Hoc是什么 396

11.5.2　command模块 397

11.5.3　shell模块 398

11.5.4　raw模块 398

11.5.5　script模块 399

11.6　Ansible其他常用功能模块 399

11.6.1　ping模块 399

11.6.2　file模块 400

11.6.3　copy模块 401

11.6.4　service模块 402

11.6.5　cron模块 402

11.6.6　yum模块 403

11.6.7　user模块与group模块 404

11.6.8　synchronize模块 405

11.6.9　setup模块 405

11.6.10　get_url模块 406

11.7　ansible-playbook简单使用 406

11.7.1　剧本简介 406

11.7.2　剧本文件的格式 406

11.7.3　剧本的构成 407

11.7.4　剧本执行结果解析 408

11.7.5　ansible-playbook收集facts信息案例 409

11.7.6　两个完整的ansible-playbook案例 410



第5篇　虚拟化、大数据运维篇



第12章　KVM虚拟化技术与应用 414

12.1　KVM虚拟化架构 414

12.1.1　KVM与QEMU 414

12.1.2　KVM虚拟机管理工具 414

12.1.3　宿主机与虚拟机 415

12.2　VNC的安装与使用 415

12.2.1　启动VNC Server 415

12.2.2　重启VNC Server 415

12.2.3　客户端连接 416

12.3　查看硬件是否支持虚拟化 416

12.4　安装KVM内核模块和管理工具 416

12.4.1　安装KVM内核 417

12.4.2　安装virt管理工具 417

12.4.3　加载KVM内核 417

12.4.4　查看内核是否开启 417

12.4.5　KVM管理工具服务相关 417

12.5　宿主机网络配置 418

12.5.1　建立桥接器 418

12.5.2　配置桥接设备 418

12.5.3　重启网络服务 419

12.6　使用KVM技术安装虚拟机 419

12.7　虚拟机复制 421

12.7.1　本机复制 421

12.7.2　控制台管理虚拟机 422

12.7.3　虚拟机的迁移 422

12.8　KVM虚拟化常用管理命令 423

12.8.1　查看KVM虚拟机配置文件及运行状态 423

12.8.2　KVM虚拟机开机 423

12.8.3　KVM虚拟机关机或断电 423

第13章　ELK大规模日志实时处理系统应用实战 426

13.1　ELK架构介绍 426

13.1.1　核心组成 426

13.1.2　Elasticsearch介绍 426

13.1.3　Logstash介绍 427

13.1.4　Kibana介绍 428

13.1.5　ELK工作流程 428

13.2　ZooKeeper基础与入门 429

13.2.1　ZooKeeper概念介绍 429

13.2.2　ZooKeeper应用举例 430

13.2.3　ZooKeeper工作原理 430

13.2.4　ZooKeeper集群架构 431

13.3　Kafka基础与入门 432

13.3.1　Kafka基本概念 432

13.3.2　Kafka术语 432

13.3.3　Kafka拓扑架构 433

13.3.4　主题与分区 434

13.3.5　生产者生产机制 434

13.3.6　消费者消费机制 434

13.4　Filebeat基础与入门 435

13.4.1　什么是Filebeat 435

13.4.2　Filebeat架构与运行原理 435

13.5　ELK常见应用架构 436

13.5.1　*简单的ELK架构 436

13.5.2　典型ELK架构 437

13.5.3　ELK集群架构 438

13.6　用ELK Filebeat Kafka ZooKeeper构建大数据日志分析平台 438

13.6.1　典型ELK应用架构 439

13.6.2　环境与角色说明 439

13.6.3　安装JDK并设置环境变量 440

13.6.4　安装并配置Elasticsearch集群 441

13.6.5　安装并配置ZooKeeper集群 450

13.6.6　安装并配置Kafka Broker集群 452

13.6.7　安装并配置Filebeat 457

13.6.8　安装并配置Logstash服务 460

13.6.9　安装并配置Kibana展示日志数据 466

13.6.10　调试并验证日志数据流向 470

13.7　Logstash配置语法详解 472

13.7.1　Logstash基本语法组成 472

13.7.2　Logstash输入插件 472

13.7.3　Logstash编码插件

（codec） 476

13.7.4　Logstash过滤插件 477

13.7.5　Logstash输出插件 488

13.8　ELK收集Apache访问日志实战案例 489

13.8.1　ELK收集日志的几种方式 490

13.8.2　ELK收集Apache访问日志的应用架构 490

13.8.3　Apache的日志格式与日志变量 491

13.8.4　自定义Apache日志格式 492

13.8.5　验证日志输出 492

13.8.6　配置Filebeat 493

13.8.7　配置Logstash 494

13.8.8　配置Kibana 496

13.9　ELK收集Nginx访问日志实战案例 498

13.9.1　ELK收集Nginx访问日志应用架构 498

13.9.2　Nginx的日志格式与日志变量 499

13.9.3　自定义Nginx日志格式 500

13.9.4　验证日志输出 501

13.9.5　配置Filebeat 501

13.9.6　配置Logstash 502

13.9.7　配置Kibana 504

13.10　通过ELK收集MySQL慢查询日志数据 505

13.10.1　开启慢查询日志 505

13.10.2　慢查询日志分析 509

13.10.3　配置Filebeat收集MySQL慢查询日志 510

13.10.4　通过Logstash的grok插件过滤、分析MySQL配置日志 511

13.10.5　通过Kibana创建MySQL慢查询日志索引 513

13.11　通过ELK收集Tomcat访问日志和状态日志 515

13.11.1　Tomcat日志解析 515

13.11.2　配置Tomcat的访问日志和运行状态日志 516

13.11.3　配置Filebeat 518

13.11.4　通过Logstash的grok插件过滤、分析Tomcat配置日志 519

13.11.5　配置Zabbix输出并告警 521

13.11.6　通过Kibana平台创建Tomcat访问日志索引 522

第14章　高可用分布式集群Hadoop部署全攻略 524

14.1　Hadoop生态圈知识 524

14.1.1　Hadoop生态概况 524

14.1.2　HDFS 525

14.1.3　MapReduce（分布式计算框架）离线计算 525

14.1.4　HBase（分布式列存数据库） 525

14.1.5　ZooKeeper（分布式协作服务） 526

14.1.6　Hive（数据仓库） 526

14.1.7　Pig（ad-hoc脚本） 527

14.1.8　Sqoop（数据ETL/同步工具） 527

14.1.9　Flume（日志收集工具） 527

14.1.10　Oozie（工作流调度器） 527

14.1.11　YARN（分布式资源管理器） 527

14.1.12　Spark（内存DAG计算模型） 529

14.1.13　Kafka（分布式消息队列） 529

14.2　Hadoop的伪分布式部署 529

14.2.1　Hadoop发行版介绍 529

14.2.2　CDH发行版本 530

14.2.3　CDH与操作系统的依赖 530

14.2.4　伪分布式安装Hadoop 530

14.2.5　使用Hadoop HDFS命令进行分布式存储 534

14.2.6　在Hadoop中运行MapReduce程序 534

14.3　高可用Hadoop2.x体系结构 535

14.3.1　两个NameNode的地位关系 535

14.3.2　通过JournalNode保持NameNode元数据的一致性 535

14.3.3　NameNode的自动切换功能 536

14.3.4　高可用Hadoop集群架构 536

14.3.5　JournalNode集群 537

14.3.6　ZooKeeper集群 538

14.4　部署高可用的Hadoop大数据平台 538

14.4.1　安装配置环境介绍 539

14.4.2　ZooKeeper安装过程 539

14.4.3　Hadoop的安装 540

14.4.4　分布式Hadoop的配置 542

14.5　Hadoop集群启动过程 548

14.5.1　检查各个节点的配置文件的正确性 549

14.5.2　启动ZooKeeper集群 549

14.5.3　格式化ZooKeeper集群 549

14.5.4　启动JournalNode 549

14.5.5　格式化集群NameNode 550

14.5.6　启动主节点的NameNode服务 550

14.5.7　NameNode主、备节点同步元数据 550

14.5.8　启动备机上的NameNode服务 551

14.5.9　启动ZKFC 551

14.5.10　启动DataNode服务 552

14.5.11　启动ResourceManager和

NodeManager服务 552

14.5.12　启动HistoryServer服务 552

14.6　Hadoop日常运维问题总结 553

14.6.1　下线DataNode 553

14.6.2　DataNode磁盘出现故障 554

14.6.3　安全模式导致的错误 555

14.6.4　NodeManager出现Java heap space 555

14.6.5　Too many fetch-failures错误 555

14.6.6　Exceeded MAX_FAILED_

UNIQUE_FETCHES; bailing-out错误 555

14.6.7　java.net.NoRouteToHostException: No route to host错误 556

14.6.8　新增DataNode 556

第15章　分布式文件系统HDFS与分布式计算YARN 558

15.1　分布式文件系统HDFS 558

15.1.1　HDFS结构与架构 558

15.1.2　名字节点工作机制 559

15.1.3　二级名字节点工作机制 560

15.1.4　HDFS运行机制以及数据存储单元（block） 561

15.1.5　HDFS写入数据流程解析 562

15.1.6　HDFS读取数据流程解析 563

15.2　MapReduce与YARN的工作机制 564

15.2.1　**代Hadoop组成与结构 564

15.2.2　第二代Hadoop组成与结构 566