1.先说说es 我早两年使用过es5.x的版本,记得当时部署还是很麻烦,因为es是java写的,要先在机器上部署java环境jvm之类的一堆东西,然后才能安装es 但是现在我使用的是目前最新的7.6版本,新的版本还是很人性化的,预先的环境安装部署都不在需要了,只需要下载安装包 https://www.elastic.co/cn/downloads/elasticsearch 我下载了之后并放入了需要部署的linux机器中,然后解压 看官方的安装步骤,非常简单. 只需要 bin/elasticse

使用NSSM工具安装bat文件为Windows服务 nssm是一个可以把bat批处理文件部署为Windows服务的小工具.例如很多.net项目可能还是在Windows服务器上面跑的,但是很多组件只提供了.bat文件,例如elk三件套.或者后面会用到的kafka等等. 都是开一个批处理窗口也是可以的,但是容易被不小心人为关闭,就崩溃了.所以很有必要在测试完毕以后,部署到Windows服务里面去. 接下来是正文.首先下载nssm工具,下载地址: http://nssm.cc/release/nssm

启动失败一 ERROR: [2] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 永久解决: #修改文件

简介:es的index索引,document文档对象,副本,多节点集群等基础知识 1.通俗的解释: 在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中, 索引名称必须是小写 Relational DB -> Database -> Table -> Row -> Column Elasticsearch -> Indice   -> Type  -> Document -> Field 2.分片shards:

elastic search 6.1.x 常用框架: 1.Lucene Apache下面的一个开源项目,高性能的.可扩展的工具库,提供搜索的基本架构: 如果开发人员需用使用的话,需用自己进行开发,成本比较大,但是性能高 2.solr Solr基于Lucene的全文搜索框架,提供了比Lucene更为丰富的功能, 同时实现了可配置.可扩展并对查询性能进行了优化 建立索引时,搜索效率下降,实时索引搜索效率不高 数据量的增加,Solr的搜索效率会变得更低,适合小的搜索应用,对应java客户端的是solr

部署elasticsearch # es 暴露的端口很多 # es 十分的消耗内存 # es 的数据一帮需要放置到安全目录!通过挂载实现 # DockerHub上安装文档,其中 --net somenetwork 选项是网络配置 # 启动 elasticsearch[root@localhost ~]# docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node"

目录 1 检查集群的健康状况 2 查看集群中的节点个数 3 查看集群中的索引 4 简单的索引操作 4.1 创建索引 4.2 删除索引 在本篇文章之前, 需要完成: ① 启动Elasticsearch服务, 至少启动一个节点, 参考博主文章 ES 02 - 部署Elasticsearch单机服务 + 部署中的常见问题, 部署Elasticsearch服务; ② 启动Kibana, 参考博主文章 ES 04 - 安装Kibana插件(6.6.0版本), 安装并启动Kibana; ③ 通过浏览器访问K

一.前言 1.ELK简介 ELK是Elasticsearch+Logstash+Kibana的简称 ElasticSearch是一个基于Lucene的分布式全文搜索引擎,提供 RESTful API进行数据读写 Logstash是一个收集,处理和转发事件和日志消息的工具 Kibana是Elasticsearch的开源数据可视化插件,为查看存储在ElasticSearch提供了友好的Web界面,并提供了条形图,线条和散点图,饼图和地图等分析工具 总的来说,ElasticSearch负责存储数据,L

一.部署前环境介绍: es集群5台(es01,es02,es03,es04,es05),logstash服务器1台(logstash2),kibana服务器1台(kibana2),模拟apache服务及filebeat(收集日志工具)1台(web2);以上均由虚拟机模拟实现; ip分配如下: 192.168.1.11 es01 192.168.1.12 es02 192.168.1.13 es03 192.168.1.14 es04 192.168.1.15 es05 192.168.1.21

搭建ElasticSearch+Kibana环境 前提条件:已经配置好JDK环境以及Nodejs环境.如果还未配置,请查看我的上一篇博客内容,有详细配置教程. 先下载ElasticSearch(以下文章简称ES)).Kibana.以及简单可视化工具 head-master.注意,ES版本和Kibana或以后可能使用的Logstash版本必须一致,可以避免一些可能存在的不兼容或版本冲突等意外情况. ES下载地址: https://artifacts.elastic.co/downloads/ela

1. docker pull image docker pull elasticsearch:6.7.2 docker pull mobz/elasticsearch-head:5 docker pull kibana:6.7.2 2. run ES in docker docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch:6.7.2 注意事项 - kibana的co

文章目录 目录结构 install_docker_es.sh elasticsearch.yml.template 没事写写shell[我自己都不信,如果不是因为工作需要,我才不要写shell],努力让自己的脚本更健壮[就像我自己一样臃肿] 目录结构 创建两个目录,准备两个文件即可 ./bin # 脚本存放路径 └── install_docker_es.sh # 脚本名称随意 ./conf # 配置文件模板存放路径 └── elasticsearch.yml.template # 配置文件模板

Docker 部署 Kibana 本篇主要介绍 使用 Docker 部署 kibana 用于操作 Elasticsearch 使用. 1. 前置准备 1.1 Elasticsearch 准备 可以先准备一个 Elasticsearch 服务 后续用于使用Kibana 去连接它操作,本篇就不展开了 1.2 查看Elasticsearch 和 Kibana 的 版本关系 https://www.elastic.co/cn/support/matrix#matrix_compatibility 根据自

ElasticSearch是现在技术前沿的大数据引擎,常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统,其中Logstash是ETL工具,Kibana是数据分析展示平台.ES让人惊艳的是他强大的搜索相关能力和灾备策略,ES开放了一些接口供开发者研发自己的插件,ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用.ElasticSearch是使用开源全文检索库ApacheLucene进行索引和搜索的,说架构必须和Lucene的一些东西打交道. 关于Lucene: Ap

一旦你的程序docker化之后,你会遇到各种问题,比如原来采用的本地记日志的方式就不再方便了,虽然你可以挂载到宿主机,但你使用 --scale 的话,会导致 记录日志异常,所以最好的方式还是要做日志中心化,另一个问题,原来一个请求在一个进程中的痉挛失败,你可以在日志中巡查出调用堆栈,但是docker化之后, 原来一个进程的东西会拆成几个微服务,这时候最好就要有一个分布式的调用链跟踪,类似于wcf中的svctraceview工具. 一:搭建skywalking gihub地址是:https://g

概述 Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索.查看交互存储在Elasticsearch索引中的数据.它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态. 安装部署kibana kibana需要64位操作系统,并且需要先安装Elasticsearch,运行Elasticsearch又需要先安装java. 参考资料: Elasticsearch guide Kibana guide 下面以mac

最近挺忙的,在外出差,又同时干两个项目.白天一个晚上一个,特别是白天做的项目,马上就要上线了,在客户这里 三天两头开会,问题很多真的很想好好静下来怼代码,半夜做梦都能fix bugs~ 和客户交流真的是门技术,一不小心你就会掉坑里,慢慢来吧~ 站内搜素其实也是老生常谈,估计很多程序员门都做过或者接触过,记得大三那会 那是比较常见的解决方案就是lucene.net 和盘古分词,后来又用jieba分词, 首先就是和数据库同步,我们把数据扔给lucene.net  ,lucene.net 拿到数据 进

部署环境 centos7 本主要利用efk实现日志收集 一.创建docker-compose es地址:https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docker.html fluentd地址:https://hub.docker.com/r/fluent/fluentd kibana地址:https://www.elastic.co/guide/en/kibana/current/docker.html 1.利用xshe

一开始是没有打算写这一篇博客的,但是看见好多朋友问关于elasticsearch的坑,决定还是写一份详细的安装说明与简单的测试demo,只要大家跟着我的步骤一步步来,100%是可以测试成功的. 一.  docker安装 本人使用的是centos6,安装命令如下: 1.首先使用epel库安装docker yum install -y http://mirrors.yun-idc.com/epel/6/i386/epel-release-6-8.noarch.rpm yum install -y d

一.            名词介绍: E:ElasticSearch 搜索,简称es L:Logstash 管理日志和事件的工具 K:Kibana 功能强大的数据显示客户端 Beats 轻量级数据传输组件,这里我们主要使用FileBeat 二.            应用包准备: elasticsearch-6.1.2.tar.gz logstash-6.1.2.tar.gz kibana-6.1.2-linux-x86_64.tar.gz filebeat-6.1.2-linux-x86_6