一、介绍

Packetbeat 是一个实时网络数据包分析工具,通过嗅探应用服务器之间的网络通讯,来解码应用层协议类型如HTTP、MySQL、redis等等,关联请求与响应,并记录每个事务有意义的字段。

Kibana是一个分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。

二、系统要求:Java环境

三、安装步骤

安装ElasticSearch

1.下载解压

2../bin/elasticsearch

如果是用root账号启动,会报以下错误

java.lang.RuntimeException: can not run elasticsearch as root

3.添加普通用户elsearch

[root@localhost bin]# groupadd elsearch
[root@localhost bin]# useradd elsearch -g elsearch
[root@localhost local]# chown -R elsearch:elsearch elasticsearch-5.3.1/
[root@localhost logs]# su elsearch
[elsearch@localhost logs]$ cd /usr/local/elasticsearch-5.3.1/bin/cd elasticsearch/bin
[elsearch@localhost bin]$./elasticsearch -d

启动后打印信息如下

[2017-04-29T02:05:37,773][INFO ][o.e.n.Node               ] [] initializing ...
[2017-04-29T02:05:38,283][INFO ][o.e.e.NodeEnvironment ] [BdGOiwE] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [12.5gb], net total_space [16.9gb], spins? [unknown], types [rootfs]
[2017-04-29T02:05:38,284][INFO ][o.e.e.NodeEnvironment ] [BdGOiwE] heap size [503.6mb], compressed ordinary object pointers [true]
[2017-04-29T02:05:38,286][INFO ][o.e.n.Node ] node name [BdGOiwE] derived from node ID [BdGOiwEfSXa1393zTZkD5w]; set [node.name] to override
[2017-04-29T02:05:38,286][INFO ][o.e.n.Node ] version[5.3.1], pid[53678], build[5f9cf58/2017-04-17T15:52:53.846Z], OS[Linux/3.10.0-514.el7.x86_64/amd64], JVM[Oracle Corporation/OpenJDK 64-Bit Server VM/1.8.0_102/25.102-b14]
[2017-04-29T02:05:41,445][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [aggs-matrix-stats]
[2017-04-29T02:05:41,445][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [ingest-common]
[2017-04-29T02:05:41,445][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [lang-expression]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [lang-groovy]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [lang-mustache]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [lang-painless]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [percolator]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [reindex]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [transport-netty3]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] loaded module [transport-netty4]
[2017-04-29T02:05:41,446][INFO ][o.e.p.PluginsService ] [BdGOiwE] no plugins loaded
[2017-04-29T02:05:52,078][INFO ][o.e.n.Node ] initialized
[2017-04-29T02:05:52,094][INFO ][o.e.n.Node ] [BdGOiwE] starting ...
[2017-04-29T02:05:52,830][INFO ][o.e.t.TransportService ] [BdGOiwE] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2017-04-29T02:05:52,835][WARN ][o.e.b.BootstrapChecks ] [BdGOiwE] max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2017-04-29T02:05:52,835][WARN ][o.e.b.BootstrapChecks ] [BdGOiwE] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2017-04-29T02:05:56,068][INFO ][o.e.c.s.ClusterService ] [BdGOiwE] new_master {BdGOiwE}{BdGOiwEfSXa1393zTZkD5w}{SEihKgNKTqe1bHDo316wlw}{127.0.0.1}{127.0.0.1:9300}, reason: zen-disco-elected-as-master ([0] nodes joined)
[2017-04-29T02:05:56,177][INFO ][o.e.g.GatewayService ] [BdGOiwE] recovered [0] indices into cluster_state
[2017-04-29T02:05:56,188][INFO ][o.e.h.n.Netty4HttpServerTransport] [BdGOiwE] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2017-04-29T02:05:56,190][INFO ][o.e.n.Node ] [BdGOiwE] started

无法启动的错误,解决办法很多,Google之,在此略过

浏览器打开http://ip:9200/ 显示如下



安装Kibana

1.下载解压

2. ./bin/kibana

3. 浏览器打开 http://localhost:5601

如果打不开页面,可以参考https://segmentfault.com/q/1010000007488864

安装packetbeat

1.下载解压

2.加载Packetbeat索引模板

[root@localhost packetbeat-5.3.1-linux-x86_64]# curl -H 'Content-Type: application/json' -XPUT 'http://localhost:9200/_template/packetbeat' -d@packetbeat.template.json
{"acknowledged":true}

3.导入 Kibana 仪表盘示例

[root@localhost scripts]# ./import_dashboards -es http://localhost:9200
Create temporary directory /tmp/tmp244734216
Downloading https://artifacts.elastic.co/downloads/beats/beats-dashboards/beats-dashboards-5.3.1.zip
Unzip archive /tmp/tmp244734216
Importing Kibana from /tmp/tmp244734216/beats-dashboards-5.3.1/filebeat
Importing Kibana from /tmp/tmp244734216/beats-dashboards-5.3.1/heartbeat
Importing Kibana from /tmp/tmp244734216/beats-dashboards-5.3.1/metricbeat
......

4.测试

[root@localhost packetbeat-5.3.1-linux-x86_64]# curl -XGET 'http://localhost:9200/packet'eat-*/_search?pretty
{
"took" : 106,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 2576,
"max_score" : 1.0,
"hits" : [
{
"_index" : "packetbeat-2017.04.29",
"_type" : "flow",
"_id" : "AVu135SZFyYD-AeZcX68",
"_score" : 1.0,
"_source" : {
"@timestamp" : "2017-04-28T18:43:00.016Z",
"beat" : {
"hostname" : "localhost.localdomain",
"name" : "localhost.localdomain",
"version" : "5.3.1"
......

ElasticSearch+Kibana+Packetbeat的更多相关文章

  1. elasticsearch+kibana+fluentd 日志搜集集群搭建

    使用fluentd来搜集Nginx日志,准备3台服务器,列表如下 node1 elasticsearch/kibana/td-agent node2 td-agent/nginx node3 td-a ...

  2. 安装logstash,elasticsearch,kibana三件套

    logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档, ...

  3. 使用logstash+elasticsearch+kibana快速搭建日志平台

    日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: * 根据关键字查询日志详情 * 监控系统的运行状况 * 统计分析,比如接口的调用次数.执行时间.成功 ...

  4. lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02

    因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用: 安装,配置过程,使 ...

  5. 安装logstash,elasticsearch,kibana三件套(转)

    logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档, ...

  6. ElasticSearch+Kibana 索引操作

    ElasticSearch+Kibana 索引操作 一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引 ...

  7. logstash+ElasticSearch+Kibana VS Splunk

    logstash+ElasticSearch+Kibana VS Splunk 最近帮磊哥移植一套开源的日志管理软件,替代Splunk. Splunk是一个功能强大的日志管理工具,它不仅可以用多种方式 ...

  8. logstash+elasticsearch+kibana快速搭建日志平台

    使用logstash+elasticsearch+kibana快速搭建日志平台   日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日 ...

  9. Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

    Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据.它使用 Java 编写,基于 Apac ...

随机推荐

  1. 【LeetCode】293. Flip Game 解题报告(C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客:http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 遍历 日期 题目地址:https://leetcode ...

  2. anaconda 命令小览

    一 查看conda环境中安装了什么库: conda list 参考文献: 怎么查看anaconda安装了什么库?-Python学习网

  3. 第二十一个知识点:CRT算法如何提高RSA的性能?

    第二十一个知识点:CRT算法如何提高RSA的性能? 中国剩余定理(The Chinese Remainder Theorem,CRT)表明,如果我们有两个等式\(x = a \mod N\) 和\(x ...

  4. Least Angle Regression

    目录 引 一些基本的假设 LARS算法 算法 与别的方法结合 LARS与LASSO的关系 LARS 与 Stagewise 代码 Efron B, Hastie T, Johnstone I M, e ...

  5. [Git]解决Permission denied, please try again问题

    在gitlab上传项目的时候出现Permission denied, please try again问题, 网上有很多解释,但是都没能解决我的问题,后来经过自己尝试成功了,这里把经验分享给大家. 在 ...

  6. 基于Spring MVC + Spring + MyBatis的【密室逃脱游戏主题排行榜】

    资源下载: https://download.csdn.net/download/weixin_44893902/25706959 一.语言和环境 1. 实现语言:Java语言 2. 环境要求:ecl ...

  7. 如何在Eclipse中搭建MyBatis基本开发环境?(使用Eclipse创建Maven项目)

    实现要求: 在Eclipse中搭建MyBatis基本开发环境. 实现步骤: 1.使用Eclipse创建Maven项目.File >> New >> Maven Project ...

  8. C# 后台发送get,post请求及WebApi接收

    后台发送get请求 1.发送带参数的get请求 /// <summary> /// 发送get请求 参数拼接在url后面 /// </summary> /// <para ...

  9. SpringBoot集成Actuator监控管理

    1.说明 本文详细介绍Spring Boot集成Actuator监控管理的方法, 基于已经创建好的Spring Boot工程, 然后引入Actuator依赖, 介绍监控管理相关功能的使用. Sprin ...

  10. mysql中文乱码或者中文报错

    当出现中文乱码或者执行包含中文的语句报错时,十有八九就是编码的问题,我们可以执行下面语句查看编码: SHOW VARIABLES LIKE '%char%' 显示 其中character_set_se ...