我已经买了一年的腾讯云轻量级服务器,并且安装好了ES,也做了一些系统配置,比如 修改vm.max_map_count修改文件描述符数量

同时,也用ES安装目录下的 bin/elasticsearch 脚本尝试了第一次启动 ES,并且用 https://localhost:9200 来访问它。

本文,我打算在我的腾讯云服务器上搭一个双节点的环境,并且用上 kibana 来管理。

网上给出了两种方案:

  1. 把 elasticsearch.tar.gz 解压多次到不同的文件夹,每个文件夹作为一个节点,然后分别修改每个文件夹中的 elasticsearch.yml,再分别启动。比如 Elasticsearch 在本地单机多节点部署集群
  2. 把 elasticsearch.tar.gz 解压一次,然后准备多个YAML配置文件,然后启动时,每个节点用上不同的配置文件。比如 配置Elasticsearch

我倾向于第2种,可以把集群中的各个节点的配置文件放到一个文件夹下,方便查看。

1. 查看可执行文件 elasticsearch

使用命令 more bin/elasticsearch 查看启动脚本,如下图所示:

从启动脚本 elasticsearch 的头部注释可以看出,可以使用

  1. ES_PATH_CONF=/path/to/custom/config ./bin/elasticsearch

这样的命令来指定启动节点时,使用不同的配置文件!

有了思路之后,接下来就开始实践。

2. 准备两个配置文件

配置项 节点1 节点2
节点名称 node1 node2
配置文件目录 /opt/config/es-cluster/node1/ /opt/config/es-cluster/node2/
data目录 /var/lib/es-cluster/node1 /var/lib/es-cluster/node2
log目录 /var/log/es-cluster/node1 /var/log/es-cluster/node2

执行以下命令创建目标文件夹和文件:

  1. [lighthouse@centos ~]$ cd /opt
  2. [lighthouse@centos opt]$ sudo mkdir config
  3. [lighthouse@centos opt]$ cd config
  4. [lighthouse@centos config]$ sudo mkdir es-cluster
  5. [lighthouse@centos config]$ sudo chown elastic:elastic es-cluster/
  6. [lighthouse@centos config]$ ls -al
  7. total 12
  8. drwxr-xr-x 3 root root 4096 0ct 9 17:59 .
  9. drwxr-xr-x. 6 root root 4096 0ct 9 17:59 ..
  10. drwxr-xr-x. 2 elastic elastic 4096 0ct 9 17:59 es-cluster
  11. [lighthouse@centos config]$ su elastic
  12. Password:
  13. [elastic@centos config]$ cd es-cluster
  14. [elastic@centos es-cluster]$ mkdir node1
  15. [elastic@centos es-cluster]$ mkdir node2
  16. [elastic@centos es-cluster]$ touch node1/elasticsearch.yml
  17. [elastic@centos es-cluster]$ touch node2/elasticsearch.yml
  18. [elastic@centos es-cluster]$ exit
  19. [lighthouse@centos es-cluster]$ cd /var/lib
  20. [lighthouse@centos lib]$ sudo mkdir es-cluster
  21. [lighthouse@centos lib]$ cd es-cluster
  22. [lighthouse@centos es-cluster]$ sudo mkdir node1
  23. [lighthouse@centos es-cluster]$ sudo mkdir node2
  24. [lighthouse@centos es-cluster]$ cd ..
  25. [lighthouse@centos lib]$ sudo chown -R elastic:elastic es-cluster/
  26. [lighthouse@centos lib]$ cd /var/log
  27. [lighthouse@centos log]$ sudo mkdir es-cluster
  28. [lighthouse@centos log]$ cd es-cluster
  29. [lighthouse@centos es-cluster]$ sudo mkdir node1
  30. [lighthouse@centos es-cluster]$ sudo mkdir node2
  31. [lighthouse@centos es-cluster]$ cd ..
  32. [lighthouse@centos log]$ sudo chown -R elastic:elastic es-cluster/

修改 node1/elasticsearch.yml 内容如下:

  1. cluster.name: es-cluster
  2. node.name: node1
  3. node.roles: ["master", "data", "ingest"]
  4. network.host: 10.0.4.10
  5. http.port: 9200
  6. transport.port: 9300
  7. path:
  8. data: /var/lib/es-cluster/node1
  9. logs: /var/log/es-cluster/node1
  10. discovery.seed_hosts:
  11. - 10.0.4.10:9300
  12. - 10.0.4.10:9301
  13. cluster.initial_master_nodes:
  14. - node1
  15. - node2
  16. xpack.security.enabled: false
  17. xpack.security.transport.ssl.enabled: false

修改 node2/elasticsearch.yml 内容如下:

  1. cluster.name: es-cluster
  2. node.name: node2
  3. node.roles: ["master", "data", "ingest"]
  4. network.host: 10.0.4.10
  5. http.port: 9201
  6. transport.port: 9301
  7. path:
  8. data: /var/lib/es-cluster/node2
  9. logs: /var/log/es-cluster/node2
  10. discovery.seed_hosts:
  11. - 10.0.4.10:9300
  12. - 10.0.4.10:9301
  13. cluster.initial_master_nodes:
  14. - node1
  15. - node2
  16. xpack.security.enabled: false
  17. xpack.security.transport.ssl.enabled: false

3. 启动两个es实例

  1. [lighthouse@centos es-cluster]$ su elastic
  2. Password:
  3. [elastic@centos es-cluster]$ cd /opt/elasticsearch-8.1.0
  4. [elastic@centos elasticsearch-8.1.0]$ ES_PATH_CONF=/opt/config/es-cluster/node1 ES_JAVA_OPTS="-Xms256m -Xmx256m" ./bin/elasticsearch -d
  5. [elastic@centos elasticsearch-8.1.0]$ ES_PATH_CONF=/opt/config/es-cluster/node2 ES_JAVA_OPTS="-Xms256m -Xmx256m" ./bin/elasticsearch -d

首次尝试启动时,遇到异常报错 Exception in thread "main" java.nio.file.NoSuchFileException: /opt/config/es-cluster/node1/jvm.options

于是,执行命令拷贝 jvm.options 文件:

  1. [elastic@centos elasticsearch-8.1.0]$ cp config/jvm.options /opt/config/es-cluster/node1
  2. [elastic@centos elasticsearch-8.1.0]$ cp config/jvm.options /opt/config/es-cluster/node2

类似地,还会出现错误 ERROR: no log4j2.properties found; tried [/opt/config/es-cluster/node2] and its subdirectories

因此,执行命令拷贝 log4j2.properties 文件:

  1. [elastic@centos elasticsearch-8.1.0]$ cp config/log4j2.properties /opt/config/es-cluster/node1
  2. [elastic@centos elasticsearch-8.1.0]$ cp config/log4j2.properties /opt/config/es-cluster/node2

4. Kibana

4.1 下载Kibana

https://www.elastic.co/cn/downloads/past-releases#kibana

选择:8.1.0版本下载,如下图所示:

选择:LINUX_X86_64,如下图所示:

解压并把 kibana 移动到目标文件夹:

  1. [lighthouse@centos Downloads]$ tar -zxvf kibana-8.1.0-linux-x86_64.tar.gz
  2. [lighthouse@centos Downloads]$ sudo mv kibana-8.1.0 /opt/kibana-8.1.0

4.2 修改kibana.yml配置

使用命令 cd /opt/kibana-8.1.0/config 进入配置文件夹,再用命令 vim kibana.yml 修改文件

  1. server.port: 5601
  2. server.host: "10.0.4.10"
  3. elasticsearch.hosts: ["http://10.0.4.10:9200"]
  4. server.publicBaseUrl: "http://10.0.4.10:5601"

server.publicBaseUrl is missing and should be configured when running in a production environment. Some features may not behave correctly. See the documentation.

报错解决方案

4.3 启动kibana

  1. nohup ./bin/kibana --allow-root & > /dev/null 2>&1

kibana 使用 ps -ef|grep kibana查不到进程的,主要原因大概是因为 kibananode 写的。所以 kibana 运行的时候是运行在 node 里面。

所以,可以使用 ps -ef|grep node 查看到进程。

kibana 启动成功后,可以在浏览器中访问:

选择 Explore on my own,新手暂时不需要添加整合 Add integrations

2. 单主机 Elasticsearch 双节点或多节点集群环境部署的更多相关文章

  1. MySQL+MGR 单主模式和多主模式的集群环境 - 部署手册 (Centos7.5)

    MySQL Group Replication(简称MGR)是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案.MGR是MySQL官方在5.7.17版本引进的一个数据库高可用与 ...

  2. Centos7.5基于MySQL5.7的 InnoDB Cluster 多节点高可用集群环境部署记录

    一.   MySQL InnoDB Cluster 介绍MySQL的高可用架构无论是社区还是官方,一直在技术上进行探索,这么多年提出了多种解决方案,比如MMM, MHA, NDB Cluster, G ...

  3. Kafka 单节点多Kafka Broker集群

    Kafka 单节点多Kafka Broker集群 接前一篇文章,今天搭建一下单节点多Kafka Broker集群环境. 配置与启动服务 由于是在一个节点上启动多个 Kafka Broker实例,所以我 ...

  4. windows单节点下安装es集群

    linux下的es的tar包,拖到windows下,配置后,启动bin目录下的bat文件,也是可以正常运行的. 从linux下拷的tar包,需要修改虚拟机的内存elasticsearch.in.bat ...

  5. redhat6.5 redis单节点多实例3A集群搭建

    在进行搭建redis3M 集群之前,首先要明白如何在单节点上完成redis的搭建. 单节点单实例搭建可以参看这个网:https://www.cnblogs.com/butterflies/p/9628 ...

  6. ElasticSearch高可用集群环境搭建和分片原理

    1.ES是如何实现分布式高并发全文检索 2.简单介绍ES分片Shards分片技术 3.为什么ES主分片对应的备分片不在同一台节点存放 4.索引的主分片定义好后为什么不能做修改 5.ES如何实现高可用容 ...

  7. ELK 中的elasticsearch 集群的部署

    本文内容 背景 ES集群中第一个master节点 ES slave节点 本文总结 Elasticsearch(以下简称ES)搭建集群的经验.以 Elasticsearch-rtf-2.2.1 版本为例 ...

  8. Redis 单例、主从模式、sentinel 以及集群的配置方式及优缺点对比(转)

    摘要: redis作为一种NoSql数据库,其提供了一种高效的缓存方案,本文则主要对其单例,主从模式,sentinel以及集群的配置方式进行说明,对比其优缺点,阐述redis作为一种缓存框架的高可用性 ...

  9. ElasticSearch 5.2.2 集群环境的搭建

    在之前 ElasticSearch 搭建好之后,我们通过 elasticsearch-header 插件在查看 ES 服务的时候,发现 cluster-health 显示的是 YELLOW. Why? ...

随机推荐

  1. MVCC多版本并发控制的理解

    前置知识 当前读与快照读 当前读 什么是当前读:读取的是最新的数据,不会读到老数据. 何时触发:update.insert.delete.select lock in share mode.selec ...

  2. Python爬虫:为什么你爬取不到网页数据

    前言: 之前小编写了一篇关于爬虫为什么爬取不到数据文章(文章链接为:Python爬虫经常爬不到数据,或许你可以看一下小编的这篇文章), 但是当时小编也是胡乱编写的,其实里面有很多问题的,现在小编重新发 ...

  3. 【喜讯】新一代大数据任务调度 - Apache DolphinScheduler 社区荣获OSCHINA年度 “最佳技术团队”...

    新一代大数据任务调度 -  Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办.在 300+ 参评项目中脱颖而出获得 "2020 年度十大开源新锐项目 ...

  4. 主流前沿的开源监控和报警系统Prometheus+Grafana入门之旅

    Prometheus概述 定义 Prometheus 官网地址 https://prometheus.io/ Prometheus 官网文档地址 https://prometheus.io/docs/ ...

  5. 部署 Vite 静态网站到 Gitee Pages

    开启仓库的 Gitee Pages 服务,部署目录 dist/: Vite 构建 build,输出到 dist 文件:取消 .gitignore 中的 dist: Vite preview 查看静态网 ...

  6. LOJ6062「2017 山东一轮集训 Day2」Pair(Hall定理,线段树)

    题面 给出一个长度为 n n n 的数列 { a i } \{a_i\} {ai​} 和一个长度为 m m m 的数列 { b i } \{b_i\} {bi​},求 { a i } \{a_i\} ...

  7. KingbaseES R6 集群在线删除standby节点

      案例环境: 操作系统:   [root@node1 ~]# cat /etc/centos-releaseCentOS Linux release 7.2.1511 (Core) ​数据库:tes ...

  8. Unity2D-Dash && SpeedUp

    ​ Introduction 原理: 角色位置改变时,每隔一段时间记录角色的位置,然后在记录的位置上放置一个图片,在图片出现之后过一段时间就让图片渐渐消失 简述实现步骤: 1.在Unity中Creat ...

  9. [Python]-pandas模块-CSV文件读写

    Pandas 即Python Data Analysis Library,是为了解决数据分析而创建的第三方工具,它不仅提供了丰富的数据模型,而且支持多种文件格式处理,包括CSV.HDF5.HTML 等 ...

  10. 2021年1月-第02阶段-前端基础-HTML+CSS阶段-Day01

    HTML5 第一天 一.什么是 HTML5 1.HTML5 的概念与定义 定义:HTML5 定义了 HTML 标准的最新版本,是对 HTML 的第五次重大修改,号称下一代的 HTML 两个概念: 是一 ...