elasticsearch 安装与配置

安装java

elasticsearch 需要 java环境

使用Java版本1.8.0_131或更高版本 安装受支持的LTS版本java

并配置好环境变量

java 8早期的版本在启用 G1GC收集器时会导致索引损坏。所以我们尽量使用Java版本1.8.0_131或更高版本(官网链接)

cd /tmp && wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
rpm -ivh jdk-8u131-linux-x64.rpm
环境变量: vi + /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH 加载环境变量
source /etc/profile

安装elastcsearch

二进制安装(tar包)

不要以root去运行

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz.sha512
yum install perl-Digest-SHA # 解决shasum在centos执行不了的问题。
shasum -a 512 -c elasticsearch-6.3.2.tar.gz.sha512
tar -xvf elasticsearch-6.3.2.tar.gz
cd elasticsearch-6.3.2/bin

在启动之前我们必须要考虑到这些设置

# 启动(默认监听9200端口)
./elasticsearch
# 后台运行
./elasticsearch -d
# 后台运行并记录pid到文件
./elasticsearch -d -p ./elasticsearch.pid
# 关闭
kill `cat elasticsearch.pid `

当elasticsearch 有异常时会返回一个错误状态码

错误 状态码
jvm 内部错误 128
内存不足 127
堆栈溢出 126
未知的虚拟机错误 125
io 错误 124
未知的其他错误 1

在进入生产之前我们必须要考虑到以下设置

  1. 禁用swap
  2. 增加文件描述符
  3. 合适配置的jvm内存
  4. 足够的线程
  5. jvm dns 缓存设置

怎么才意味着从开发模式到生产模式。

一但我们配置了network.host ,elasticsearch 就会认为我们将从开发模式转为生产模式

一些警告可能会升级到异常来阻止我们启动。

增大打开文件句柄数量

方法一: 临时修改
在root的情况下:
ulimit -n 65536 方法二: 永久修改
更改配置文件:/etc/security/limits.conf
在文件末尾前面加入
Elsearch(启动的用户名) - nofile 65536 注意: 如果已经登录了启动用户,需要在更改配置后重新登录下。 方法三: 如果是rpm包安装的,我们可以使用systemd服务来进行配置
systemctl edit elasticsearch
更改
[Service]
LimitMEMLOCK=infinity 重新加载配置
systemctl daemon-reload

禁用虚拟内存

交换分区对性能,对节点的稳定性非常不利,可能导致收集持续数分钟。并且可能导致节点响应缓慢甚至断开与群集的连接,在分布式系统中应该避免。

方法一:

临时禁用:swapoff –a

用久禁用:您需要编辑/etc/fstab文件并注释掉包含该单词的任何行swap

方法二:

将vm.swappiness 设置为1 

降低了使用交换的概率,正常情况下不应该使用交换,允许系统在紧急情况下使用swap.
设置: 临时:sysctl -w vm.swappiness=1 永久 或者修改配置文件 vim /etc/sysctl.conf 以 key=values 的方式存储。 查看所有的可读变量: sysctl -a 方法三: 修改elasticsearch 的配置文件。
config/elasticsearch.yml 修改为:bootstrap.memory_lock: true

合适配置的jvm内存

一般在运行elasticsearch 的时候最小需要是内存是1G,少于1G我们会经常启动不了。
-Xms1g # 最小值为1G
-Xmx1g # 最大值为1G
对于这个值的设置,官方为了适应不同的java版本,特做了一些适应配置
-Xms1g 不受版本影响,默认
8:-Xmx2g 只适应java8版本
8-:-Xmx2g 适应java8及以上版本
8-9:-Xmx2g 适应java8-java-9版本 官方文档写到:以往经验得出,
1. 最大值和最小值设置为一样的值,否则在系统使用的时候会因jvm值变化而导致服务暂停
2. 过多的内存,会导致用于缓存的内存越多,最终导致回收内存的时间也加长
3. 设置的内存不要超过物理内存的50%,以保证有足够的内存留给操作系统
4. 不要将内存设置超过32GB

配置线程数

elasticsearch 用户需要创建的线程数至少为4096。

# 临时设置
ulimit -u 4096
# 永久设置
vim /etc/security/limits.d/90-nproc.conf
user soft nproc 4096 修改完即可生效。

max_map_count太小

vim /etc/sysctl.conf

#增加以下内容:
vm.max_map_count=262144 #保存退出vim后使sysctl.conf生效:
sysctl -p

最大文件大小

这个可以无需设置,基本都可以满足

centos 7 使用 xfs 文件系统 最大支持单文件8EB (大多数企业都可以满足)

centos 6 使用 ext4 文件系统 单文件达到16TB

DNS缓存设置

elasticsearch(二) 之 elasticsearch安装的更多相关文章

  1. elasticsearch 二、elasticsearch-head安装

    简介 elastricsearch-head是用于elasticsearch群集浏览和交互的插件. 源码:https://github.com/mobz/elasticsearch-head (上图来 ...

  2. ELK学习记录二 :elasticsearch、logstash及kibana的安装与配置

    注意事项: 1.ELK版本要求5.X以上,本人使用版本:elasticsearch-6.0.0.kibana-6.0.0-linux-x86_64.logstash-6.0.0.tar 2.Elast ...

  3. ElasticSearch(二)CentOs6.4下安装ElasticSearch

    一.准备工作 Elastic 需要 Java 8 环境.如果你的机器还没安装 Java,先需要安装java环境,同时还注意要保证环境变量JAVA_HOME正确设置. 链接:https://pan.ba ...

  4. 批量搞机(二):分布式ELK平台、Elasticsearch介绍、Elasticsearch集群安装、ES 插件的安装与使用

    一.分布式ELK平台 ELK的介绍: ELK 是什么? Sina.饿了么.携程.华为.美团.freewheel.畅捷通 .新浪微博.大讲台.魅族.IBM...... 这些公司都在使用 ELK!ELK! ...

  5. 大数据统计分析平台之二、ElasticSearch 6.2.1的安装与使用

    # 下载文件cd /usr/local/software wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch ...

  6. 分布式搜索引擎ElasticSearch+Kibana (Marvel插件安装详解)

    在安装插件的过程中,尤其是安装Marvel插件遇到了很多问题,要下载license.Marvel-agent,又要下载安装Kibana 版本需求 Java 7 or later Elasticsear ...

  7. 【ElasticSearch篇】--ElasticSearch从初识到安装和应用

    一.前述 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,在企业中全文搜索时,特别常用. 二.常用概念 clu ...

  8. Elasticsearch报警插件Watch安装以及使用

    参考:http://blog.csdn.net/ptmozhu/article/details/52296958 http://corejava2008.iteye.com/blog/2214279 ...

  9. Elasticsearch学习之ElasticSearch 5.0.0 安装部署常见错误或问题

    ElasticSearch 5.0.0 安装部署常见错误或问题 问题一: [--06T16::,][WARN ][o.e.b.JNANatives ] unable to install syscal ...

  10. Elasticsearch在windows上安装好了之后怎么使用?

    windows 10上安装Elasticsearch过程记录 一.安装和配置Java JDK1.下载:http://download.oracle.com/otn ... 4.exe2.设置环境变量: ...

随机推荐

  1. java基础-day1

    第01天 java基础知识 今日内容介绍 u Java概述.helloworld案例 u 工具安装 .配置环境变量.注释.关键字 u 常量.变量.数据类型.标识符 第1章   Java概述 1.1  ...

  2. PAT甲 1012. The Best Rank (25) 2016-09-09 23:09 28人阅读 评论(0) 收藏

    1012. The Best Rank (25) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHEN, Yue To eval ...

  3. 从0学习JQ

    转 张子秋的博客 为以后用到的时候好查询! 从零开始学习jQuery (一) 开天辟地入门篇 从零开始学习jQuery (二) 万能的选择器 从零开始学习jQuery (三) 管理jQuery包装集 ...

  4. kylin的clube合并后清理hbase中产生的相关历史表

    kylin的clube合并后清理hbase中产生的相关历史表 kylin 的clube 历史的每次构建,都会产生一个hbase的表:虽然可以设置按照一定策略合并,但是合并后hbase 历史表不会被自动 ...

  5. 设计模式之迭代器模式(Iterator Pattern)

    一.什么是迭代器模式? 用迭代器来封装集合对象的遍历细节,使调用者能够通过统一的接口来实现对集合的遍历 迭代器也给集合对象提供了一定的保护,想要遍历集合,直接调用迭代器的方法就好了,我们不知道也不必知 ...

  6. asp.net mvc5 分析器错误消息: 未能加载类型“XXX.MvcApplication”

    描述 今天忽然碰到一个这个错误: “/”应用程序中的服务器错误. 分析器错误 说明: 在分析向此请求提供服务所需资源时出错.请检查下列特定分析错误详细信息并适当地修改源文件. 分析器错误消息: 未能加 ...

  7. 如何连接MSSQLSERVER2014(其他版本数据库大体相同)

    购买了服务器后我在上面安装了SqlServer2014,但是程序中总是远程连接不上,特此记录一下: 一.一些基本设置如下链接: 转载自:https://blog.sun0816.com/20381.h ...

  8. 第五章 ReentrantLock源码解析1--获得非公平锁与公平锁lock()

    最常用的方式: int a = 12; //注意:通常情况下,这个会设置成一个类变量,比如说Segement中的段锁与copyOnWriteArrayList中的全局锁 final Reentrant ...

  9. Spring Boot项目搭建

    1.Spring Boot概述 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程.该框架使用了特定的方式来进行配置,从而使开发人 ...

  10. ASP.NET Core获取客户端IP地址

    1.在ConfigureServices注入IHttpContextAccessor // ASP.NET Core 2.1的注入方式 //services.AddHttpContextAccesso ...