精通ELASTIC STACK

目录 第1章Elastic Stack概述1 1.1ELK Stack简介1 1.1.1Logstash2 1.1.2Elasticsearch3 1.1.3Kibana3 1.2Elastic Stack的诞生3 1.3谁在使用Elastic Stack?4 1.3.1Salesforce5 1.3.2CERN5 1.3.3Green Man Gaming5 1.4竞争者6 1.5设置Elastic Stack的使用环境6 1.5.1安装Java6 1.5.2安装Elasticsearch9 1.5.3安装Kibana12 1.5.4安装Logstash15 1.5.5安装Filebeat16 1.6XPack简介18 1.7本章小结19 第2章走进Elasticsearch20 2.1Elasticsearch的起源20 2.2了解Elasticsearch的体系结构22 2.2.1推荐的集群配置23 2.2.2了解文档处理24 2.3Elasticsearch API25 2.3.1有关文档的API25 2.3.2有关搜索的API38 2.3.3有关索引的API43 2.3.4Cat API51 2.3.5Cluster API52 2.4Query DSL52 2.5聚合52 2.5.1Buckets聚合52 2.5.2Metrics聚合59 2.6Painless脚本说明64 2.7本章小结66 〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其组件67 3.1Logstash简介68 3.2为什么需要用Logstash68 3.3Logstash的特点69 3.4Logstash插件的体系架构70 3.5Logstash配置文件的结构71 3.5.1值类型71 3.5.2条件判断的用法73 3.6插件种类74 3.6.1数据输入插件Input74 3.6.2数据过滤插件Filter74 3.6.3数据输出插件Output75 3.6.4编解码插件Codec75 3.7学习数据输入插件Input76 3.7.1stdin77 3.7.2file78 3.7.3path79 3.7.4udp82 3.8学习数据过滤插件Filter83 3.8.1grok84 3.8.2mutate86 3.8.3csv89 3.9学习数据输出插件Output90 3.9.1stdout90 3.9.2file91 3.9.3elasticsearch93 3.10学习编解码插件Codec95 3.10.1rubydebug95 3.10.2json96 3.10.3avro96 3.10.4multiline97 3.11插件的命令行操作99 3.11.1列出插件列表100 3.11.2安装插件100 3.11.3移除插件101 3.11.4更新插件101 3.11.5压缩插件102 3.11.6解压插件102 3.12Logstash的命令行操作103 3.13使用Logstash的小技巧105 3.13.1引用字段及其值106 3.13.2添加自定义的grok模式106 3.13.3Logstash不显示任何输出信息107 3.14用于解析日志的Logstash配置108 3.14.1Catalina日志示例108 3.14.2Tomcat日志示例108 3.14.3基于grok模式的Catalina日志109 3.14.4基于grok模式的Tomcat日志示例109 3.14.5Logstash配置文件110 3.15监控系统相应状态信息的API112 3.15.1节点信息API113 3.15.2插件信息API115 3.15.3节点状态API116 3.15.4Hot threads API116 3.16本章小结117 第4章Kibana界面118 4.1Kibana及其功能118 4.2探索Discover界面120 4.3时间过滤器121 4.3.1快捷时间过滤器122 4.3.2相对时间过滤器122 4.3.3绝对时间过滤器122 4.3.4自动刷新122 4.4查询和搜索数据123 4.4.1全文检索123 4.4.2范围搜索123 4.4.3布尔搜索124 4.4.4邻近搜索124 4.4.5通配符搜索124 4.4.6正则表达式搜索125 4.4.7分组125 4.5字段和过滤器125 4.5.1过滤字段125 4.5.2过滤器的功能126 4.6查询页面选项127 4.7探索Visualize界面127 4.7.1了解聚合129 4.7.2可视化画布133 4.7.3面积图133 4.7.4数据表133 4.7.5折线图133 4.7.6气泡图133 4.7.7Markdown部件134 4.7.8Metric134 4.7.9饼图134 4.7.10标签云134 4.7.11瓦片地图134 4.7.12时间序列134 4.7.13直方图134 4.8探索Dashboard界面135 4.9了解Timelion137 4.10探索开发者工具139 4.11探索设置界面140 4.11.1索引模式141 4.11.2已保存的对象141 4.11.3高级设置141 4.11.4状态143 4.12综合应用143 4.12.1输入数据143 4.12.2创建Logstash配置文件144 4.12.3使用Kibana147 4.12.4在Kibana中创建面板155 4.13本章小结157 第5章使用Beats158 5.1Beats简介158 5.2Beats与Logstash的不同之处159 5.3Beats如何融入Elastic Stack160 5.4不同类型的Beats组件概述162 5.4.1Elastic团队开发的Beats组件162 5.4.2社区开发者开发的Beats组件164 5.5Elastic团队开发的Beats组件164 5.5.1了解Filebeat165 5.5.2理解Metricbeat172 5.5.3理解Packetbeat177 5.6社区开发者开发的Beats组件179 5.7Beats在Elastic Stack中的实战182 5.7.1用Logstash和Kibana探索Metricbeat182 5.7.2用Elasticsearch和Kibana探索Elasticbeat191 5.8本章小结195 第6章Elastic Stack实战196 6.1理解问题场景196 6.2准备Elastic Stack管道199 6.2.1要获取什么数据?200 6.2.2更新体系结构200 6.3配置Elastic Stack组件201 6.3.1搭建Elasticsearch202 6.3.2搭建agents/Beats202 6.3.3搭建Logstash207 6.3.4设置Kibana213 6.4设置Kibana面板213 6.4.1Packetbeat214 6.4.2Metricbeat214 6.4.3查看数据库(MySQL)性能215 6.4.4分析CPU的使用216 6.4.5内存使用情况217 6.4.6检查日志217 6.4.7寻找访问*多的网页219 6.4.8访客地图219 6.4.9一定时间范围内的访客数量220 6.4.10请求类型221 6.4.11错误类型——日志的级别221 6.4.12首选的referrer223 6.4.13首选的代理agent223 6.5使用Logstash电子邮件功能发警报224 6.6使用消息代理225 6.7本章小结226 第7章个性化定制Elastic Stack227 7.1扩展Elasticsearch227 7.1.1Elasticsearch开发环境228 7.1.2剖析一个Elasticsearch Java 插件229 7.1.3构建插件230 7.2扩展Logstash231 7.3扩展Beats239 7.3.1Libbeat框架239 7.3.2创建一个Beat240 7.4扩展Kibana251 7.4.1设置Kibana开发环境252 7.4.2生成一个插件253 7.4.3剖析一个插件254 7.5本章小结257 第8章Elasticsearch API258 8.1集群API258 8.1.1集群健康状况258 8.1.2集群状态260 8.1.3集群统计信息261 8.1.4待处理任务261 8.1.5集群重路由261 8.1.6集群更新设置262 8.1.7节点统计信息262 8.1.8节点信息API263 8.1.9任务管理API264 8.2Cat API265 8.3Elasticsearch模块268 8.3.1集群模块269 8.3.2Discovery模块269 8.3.3Gateway模块269 8.3.4HTTP模块269 8.3.5索引模块269 8.3.6网络模块269 8.3.7节点客户端270 8.3.8插件模块270 8.3.9脚本270 8.3.10快照/恢复模块271 8.3.11线程池271 8.3.12Transport模块271 8.3.13Tribe节点模块272 8.4Ingest节点272 8.5Elasticsearch客户端276 8.5.1支持的客户端276 8.5.2社区提供的客户端276 8.6Java API277 8.6.1连接到集群277 8.6.2管理任务278 8.6.3索引级任务281 8.7Elasticsearch插件286 8.7.1Discovery插件287 8.7.2Ingest插件287 8.7.3Elasticsearch SQL288 8.8本章小结289 第9章XPack插件中的Security与Monitoring组件290 9.1XPack介绍290 9.2XPack的安装291 9.2.1在Elasticsearch中安装XPack291 9.2.2在Kibana中安装XPack292 9.2.3在离线系统中安装XPack292 9.2.4卸载XPack293 9.3Security组件294 9.3.1列出所有Security中的用户295 9.3.2列出Security中的角色296 9.3.3了解Security中的角色297 9.3.4理解默认用户角色299 9.3.5在Security中添加新角色299 9.3.6在Security中更新角色300 9.3.7了解字段级的Security301 9.3.8在Security中添加新用户302 9.3.9在Security中更新用户详细信息303 9.3.10在Security中修改用户密码304 9.3.11在Security中删除角色304 9.3.12在Security中删除用户304 9.4查看XPack信息305 9.5Monitoring组件307 9.5.1探索Elasticsearch的监控统计308 9.5.2探索Kibana的监控统计314 9.6了解Profiler315 9.7本章小结317 第10章XPack插件中的Alerting、Graph和Reporting组件318 10.1Alerting与Notification组件318 10.2Graph组件336 10.3Reporting组件341 10.4本章小结344 第11章*佳实践范例345 11.1为什么需要*佳实践范例345 11.2了解你的用例346 11.3管理配置文件347 11.3.1Elasticsearch——elasticsearch.yml347 11.3.2Kibana——kibana.yml348 11.4选择正确的硬件348 11.4.1内存349 11.4.2磁盘351 11.4.3输入输出353 11.4.4CPU354 11.4.5网络354 11.5搜索和索引性能354 11.5.1过滤缓存354 11.5.2Fielddata的容量355 11.5.3索引缓冲区356 11.6调整Elasticsearch集群357 11.6.1选择正确的节点357 11.6.2确定节点数359 11.6.3确定分片数360 11.6.4缩减磁盘空间361 11.7Logstash配置文件361 11.7.1对多个数据源分类362 11.7.2使用conditional条件362 11.7.3使用自定义grok模式363 11.7.4简化grokparsefailure363 11.7.5字段的映像363 11.7.6动态模板363 11.7.7测试配置364 11.8重新索引数据364 11.9本章小结365 第12章案例分析——Meetup366 12.1了解Meetup使用场景366 12.2环境搭建367 12.2.1理解Meetup API368 12.2.2搭建Elasticsearch370 12.2.3准备Logstash370 12.2.4搭建Kibana374 12.3使用Kibana分析数据374 12.3.1内容过滤375 12.3.2按国家统计Meetup使用量377 12.3.3世界前10座使用Meetup的城市379 12.3.4按持续时间分析Meetup发展趋势380 12.3.5按RSVP计数统计Meetup使用量383 12.3.6国家分组统计384 12.3.7加入群组的模式统计384 12.3.8热门类别385 12.3.9热门话题387 12.3.10Meetup活动场所地图388 12.3.11Meetup活动地图389 12.3.12仅数量方面的统计389 12.4获取通知390 12.5本章小结393