最近接触了Elastic技术栈的产品filebeat,觉得用着挺不错的。所以汇总下Elastic技术栈的所有产品,深入了解一下。
Elastic Stack 其实是一个集合,除了包含大家熟知的Elasticsearch,还有Kibana,Logstash 和 Beats 这几种开源产品。
基于version版本6.6:
Elasticsearch:是一个实时,分布式存储,搜索和分析引擎。它可以用做多种目的,但是他擅长的一个方面是索引半结构化数据流,如日志和解码网络数据包。
Kibana:是一个开源的分析和可视化的平台,旨在和Elasticsearch合作。你可以使用Kibana来搜索和查看和与Elasticsearch索引中存储的数据进行交互。你可以轻松的执行高级数据的分析,并在各种图标,表格和地图中可视化数据。
Logstash:是一个功能强大的工具,他可以广泛的和各种部署集成在一起,并提供大量可选插件来帮助你解析,丰富,转换和缓冲来自各个数据源的数据。
Beats:是一个开放源码的数据托运人,你可以在服务器上作为代理安装,并向Elasticsearch发送操作数据。Beats可以通过Logstash直接向Elasticsearch发送数据,你可在此进一步的处理和增强数据。
每一个beat都可以单独安装,彼此实现功能,没有依赖。
Auditbeat:Audit data审计数据
Filebeat:Log files日志文件
Functionbeat:Cloud data云数据
Heartbeat:Availability monitoring可用性监控
Journalbeat:Systemd journals系统日志
Metricbeat:Metrics度量指标
Packetbeat:Network traffic网络流量
Winlogbeat:Windows event logsWindows事件日志
Elastic Stack官网提供了一个简单的系统监控解决方案,该解决方案使用MetricBeat收集服务器度量数据并将数据发送到ElasticSearch,然后使用Kibana来查询和可视化数据。
除此之外还可以添加Logstash进行额外的解析。
这个监控方案的部署可参照以上链接,页面效果官网也有提供,具体性能可做压测等看看效果,在此不做太多介绍。