在elasticsearch中存储数据的行为就叫做索引(indexing),不过在索引之前,我们需要明确数据应该存储在哪里。

在elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统的关系型数据库。

  relation DB       --  Database ---   Tables    --    Rows    ---Coumns

  elasticsearch   --   Indices     ---    Types      --Documents--Fields

elasticsearch集群可以包含多个索引(indices)(数据库),每一个索引可以包含多个类型(types)(表),每一个类型包含多个文档(documents)(行),然后每个文档包含多个字段(Fields)(行).

ELK的整套解决方案如下:

其中Metrics主要用来监视CPU等系统资源消耗情况。具体安装操作如下:

一、安装metricbeat应用软件

二、导入beats-dashboards模板

A.在线安装时,运行如下命令:

./scripts/import_dashboards -es http://XXX:9200

B.离线安装时,运行如下命令:

./scripts/import_dashboards -file beats-dashboards-5.2.1.zip -es http://XXX:9200

参见:http://wangzhijian.blog.51cto.com/6427016/1878636

一、elasticsearch单机环境搭建

:elasticsearch对JDK版本这有严格的要求,一般建议安装Java: openjdk version  "1.8.0_xx"

配置ElasticSearch

tar -zxvf elasticsearch-5.2.2.tar.gz
cd elasticsearch-5.2.2

编辑ES的配置文件,修改以下配置项:

cluster.name=es_cluster
node.name=node0
path.data=/tmp/elasticsearch/data
path.logs=/tmp/elasticsearch/logs
#当前hostname或IP
network.host=XXX
network.port=9200
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

 启动ES:

./bin/elasticsearch或nohup ./bin/elasticsearch &

  

打开页面IP:9200,将会看到以下内容:

或者使用命令:curl http://IP:9200来检查部署是否成功

集群安装请参见:http://yedward.net/post/416.html

安装过程中碰到的坑如下: http://blog.csdn.net/qq_21387171/article/details/53577115http://www.dajiangtai.com/community/18136.do

参数配置可以参见:bigbo.github.io/pages/2015/04/10/elasticsearch_config

另外在安装5.2.2版本时碰到一个报错及处理方式如下:

ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

解决措施如下:在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

可以查看issues:https://github.com/elastic/elasticsearch/issues/22899

二、kibana安装

1、安装准备

tar -zxvf kibana-5.2.2.tar.gz

2、配置kibana

server.port: 5601 #监听的端口号
server.host: "172.18.12.XX" #Kibana服务的IP
elasticsearch.url: http://172.18.12.XX:9200 #es服务器的http访问路径
kibana.index: .kibana #kibana在es中的辅助索引名称

3、启动kibana

./bin/kibana

4、验证kibana是否安装成功

kibana安装成功后,通过ps -ef|grep kibana或者ps -ef|grep 5601都找不到,需要通过如下命令来检测:

fuser -n tcp 5601
kill -9 端口

检查http://IP:5601是否可以访问

kibana数据查询:totalTime: [500 TO *] AND monitorName: "KMID-M3001"

参见:http://hqiang.me/2015/08/flume配置导入kafkaelasticsearch/

flume+elasticsearch+kibana遇到的坑的更多相关文章

  1. 使用logstash+elasticsearch+kibana快速搭建日志平台

    日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: * 根据关键字查询日志详情 * 监控系统的运行状况 * 统计分析,比如接口的调用次数.执行时间.成功 ...

  2. logstash+elasticsearch+kibana快速搭建日志平台

    使用logstash+elasticsearch+kibana快速搭建日志平台   日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日 ...

  3. 快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana)

    快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana) 概要说明 需求场景,系统环境是CentOS,多个应用部署在多台服务器上,平时查看应用日志及排查问题十 ...

  4. Logstash+ElasticSearch+Kibana处理nginx访问日志(转)

    ELK似乎是当前最为流行的日志收集-存储-分析的全套解决方案. 去年年初, 公司里已经在用, 当时自己还山寨了一个统计系统(postgresql-echarts, 日志无结构化, json形式存储到p ...

  5. (原)logstash-forwarder + logstash + elasticsearch + kibana

    [logstash-forwarder + logstash + elasticsearch + kibana]-------------------------------------------- ...

  6. 【转载】使用logstash+elasticsearch+kibana快速搭建日志平台

    原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地 ...

  7. 【最新】docker 安装elasticsearch + kibana步骤【第一篇_elasticsearch】

     最近在用docker 安装elasticsearch + kibana 遇到了很多坑,最后成功安装elasticsearch + kibana (6.8.1)版本   安装了一下午,现总结过程中遇到 ...

  8. elasticsearch kibana logstash(ELK)的安装集成应用

    官网关于kibana的学习指导网址是:https://www.elastic.co/guide/en/kibana/current/index.html Kibana是一个开源的分析和可视化平台,设计 ...

  9. 安装logstash,elasticsearch,kibana三件套

    logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档, ...

随机推荐

  1. 【摘录】在Windows平台上使用Objective-C

    虽然到目前为止最好的Objective-C 编码平台来自苹果公司,但它们绝不仅适用于苹果公司的平台.Objective-C 在Linux.BSD 甚至Windows 等其他平台都有相当久远的历史.根据 ...

  2. WIN10系统 如何自动调整系统时间

    在底部搜索框中输入设置   先关闭再打开自动设置时间的选项即可重新获取系统时间,前提要联网状态

  3. 使用electron+Js开发夸平台(Linux、Win、Mac)的桌面应用程序

    一.开源地址: https://github.com/electron/electron 二.官方网站: https://electron.atom.io/ 三.案例

  4. Ubuntu Server无法安装busybox-initramfs

    解决方法很简单,使用英文安装就好,可以参考这个帖子:http://forum.ubuntu.com.cn/viewtopic.php?f=77&t=471547&p=3137632  

  5. 基于TQ2440开发板的WiFi模块的使用经验总结

    一.软.硬件资源准备: 内核版本:linux-2.6.30.4 交叉编译器版本:4.3.3 wpa_supplicant工具:wpa_supplicant-0.7.3.tar ; openssl-0. ...

  6. JAVA调用SHELL事例

    以往一直都是crontab+shell调用java程序,最近需要反过来,使用java调用shell程序,实现定时管理,今天总结一下. 基础内容: java的java.lang.Runtime类提供了e ...

  7. JavaWeb应用出现HTTP 500-Unable to compile class for JSP 错误 的解决

    转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6383192.html 在上一篇博文中,我们把自己本机的web项目部署到了云主机的tomcat上.之后通过浏览器 ...

  8. 在Ubuntu上安装pyenv 相关问题Common build problems

    Requirements: Ubuntu/Debian: sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libb ...

  9. Selenium如何支持测试Windows application

    很长一段时间大家都支持Selenium是只支持测试Web应用程序的. 纵观Selenium的成长历程,不难解释这个原因.Selenium开始的时候是作为一个Firefox中的插件出现的,而且做得是纯J ...

  10. 【Shell】获取设置日期和延时

    1.读取日期 Linux:~ # date Mon Dec 17 03:16:53 EST 2018 2.格式日期并打印 Linux:~ # date "+%d %B %Y" 17 ...