ES(2): Build ES Cluster on Azure VM
目录:
- 系统环境准备
- 安装ES集群
- 安装Kibana
- 安装x-pack
- 安装head
系统环境准备
- 参见: HDP2.4安装(二):Centos7配置
- 修改network:
- 修改hosts:
- 配置ssh :
- 配置ntp服务
- 配置selinux
- 安装java jdk
- 文件数与虚拟内存配置
- 命令:vim /etc/sysctl.conf 打开编辑器中增加如下配置
fs.file-max=655350
vm.max_map_count=655360 - 执行命令:sysctl -p
- 命令: vim /etc/security/limits.conf 添加下面配置:
* soft nofile 655350
* hard nofile 655350 - 命令:reboot (重启机器)
- 测试集群节点:
- 10.0.0.5 JNES01 (A2系列)
- 10.0.0.6 JNES02 (A2系列)
安装ES集群
- ES5.1下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz
- 解压: tar -zxvf elasticsearch-5.1.1.tar.gz
- 新建存储目录: mkdir -p /mnt/data/esdata
- 目录权限:chmod -R 777 /mnt/data/esdata/
- 修改配置:vim elasticsearch.yml
# ---------------------------------- Cluster -----------------------------------
cluster.name: JNES
http.cors.enabled: true
http.cors.allow-origin: "*"
thread_pool:
bulk:
size: 3
queue_size: 1000
# ------------------------------------ Node ------------------------------------
node.name: JNES01
# ----------------------------------- Paths ------------------------------------
path.data: /mnt/data/esdata
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false
indices.fielddata.cache.size: 25%
# ---------------------------------- Network -----------------------------------
network.host: 10.0.0.5
http.port: 12000
transport.tcp.port: 12300
# --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["10.0.0.5", "10.0.0.6"]
discovery.zen.minimum_master_nodes: 1
discovery.zen.ping_timeout: 20s
# ---------------------------------- Various -----------------------------------
action.auto_create_index: true
xpack.security.enabled: false - 将文件scopy至JNES02,然后修改node节点名
- 命令:vim jvm.options A2的机器更改配置:-Xms1g
- teld用户下运行elastic,需更改root安装文件的权限,并确保teld具有es数据目录的读写权限,命令:sudo chmod -R 777 /zhu/elasticsearch-5.1.1
- 切换目录至: cd /zhu/elasticsearch-5.1.1/bin
- 后台启动ES: ./elasticsearch -d (-d: 参数表示后台启动,不带该参数表示前台启动)
- 检测命令:curl 10.0.0.5:12000 如下图则ok
- 命令: jps 查看es进程号,停止服务通过 kill 进程号来处理
- 命令: ./elasticsearch help (查看命令行帮助)
安装Kibana
- 下载地址:https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-linux-x86_64.tar.gz
- 解压: tar -zxvf kibana-5.1.1-linux-x86_64.tar.gz
- 配置修改: vim kibana.yml
server.port: 5500
server.host: "10.0.0.5"
elasticsearch.url: "http://10.0.0.5:12000"
elasticsearch.requestTimeout: 180000
elasticsearch.pingTimeout: 15000
xpack.security.enabled: false 切换至kibana目录: cd /zhu/kibana-5.1.1-linux-x86_64/
- 启动服务: ./kibana
- 后台启动服务:nohup ./kibana & (简单而有用的nohup命令在UNIX/LINUX中,普通进程用&符号放到后台运行,用nohup命令启动程序:nohup <程序名> & )
- 查看服务:netstat -pan |grep 5500
- 停止进程:kill -9 63890
- 配置端口映射,如下图
- 外网访问kibana,如下图:
- 之前版本ES和Kibana配合还需要使用plugin安装一些Marvel,sense等,现在都不需要了,DevTools就是之前的Sense
安装x-pack
- X-pack插件: x-pack是elasticsearch的一个扩展包,将安全,警告,监视,图形和报告功能捆绑在一个易于安装的软件包中,包含功能如下:
- 当安装X-pack在群集上,监控代理运行在每个节点上收集和指数指标从Elasticsearch。
- 安装在X-pack在Kibana上,可以查看通过一套专门的仪表板监控数据
- 命令: ./elasticsearch-plugin install x-pack 如下图(切换到es安装bin目录下,所有ES节点都需安装)
- 命令: ./kibana-plugin install file:///zhu/x-pack-5.1.1.zip (切至kibana解压bin目录,zip文件需从网上下载,只需在安装kibana的机器上安装即可)
- 通过kibana查看集群信息,如下图:
安装head
- head插件可以用来快速查看elasticsearch中的数据概况以及非全量的数据,也支持控件化查询和rest请求,但是体验都不是很好。一般就用它来看各个索引的数据量以及分片的状态
- 下载安装head插件,下载地址: https://codeload.github.com/mobz/elasticsearch-head/zip/master 下载至本地后上传 (任选一台机器上安装即可)
- 命令:unzip elasticsearch-head-master.zip
- 下载安装nodejs, 下载地址:https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-x64.tar.xz 下载至本地后上传
- 命令:xz -d node-v6.9.2-linux-x64.tar.xz
- 命令:tar -xvf node-v6.9.2-linux-x64.tar
- 命令:mv node-v6.9.2-linux-x64 /zhu/node
- 配置node环境变量: vim /etc/profile 加如下配置
export NODE_HOME=/zhu/node
export PATH=$PATH:$NODE_HOME/bin 命令:source /etc/profile
- 验证命令:node -v
- 验证命令:npm -v
- grunt是一个很方便的构建工具,可以进行打包压缩、测试、执行等等的工作,head插件就是通过grunt启动的。因此需要安装一下
- 安装grunt,切换至目录: cd elasticsearch-head-master
- 命令: npm install grunt
- 测试: 切换至目录:cd elasticsearch-head-master/node_modules/grunt/bin
- 命令:./grunt
- 按提示安装如下包,切换至如下目录: cd /zhu/elasticsearch-head-master
- 命令:npm install grunt-contrib-clean --registry=https://registry.npm.taobao.org
- 命令:npm install grunt-contrib-concat --registry=https://registry.npm.taobao.org
- 命令:npm install grunt-contrib-watch --registry=https://registry.npm.taobao.org
- 命令:npm install grunt-contrib-connect --registry=https://registry.npm.taobao.org
- 命令:npm install grunt-contrib-copy --registry=https://registry.npm.taobao.org
- 命令:npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org
- 安装完成后检查:./grunt -version
- head直接执行有很多限制,比如无法跨机器访问等,因此需要用户修改如下两个地方:
- 修改head目录下Gruntfile.js配置, 添加hostname: '10.0.0.5' 或 "*"
- 修改连接地址:目录:head/_site/app.js, 把localhost修改成你es的服务器地址,如下:
- 把localhost修改成你es的服务器地址,如: this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.0.0.5:12000";
- 切换目录至:cd /zhu/elasticsearch-head-master
- 运行:node_modules/grunt/bin/grunt server 如下图
- 后台运行:nohup node_modules/grunt/bin/grunt server &
- 查看命令:netstat -pan |grep 9100
- 访问示例图如下:
ES(2): Build ES Cluster on Azure VM的更多相关文章
- ES(二): Build ES Cluster on Azure VM
目录: 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见: HDP2.4安装(二):Centos7配置 修改network: 修改hosts: 配置ss ...
- ES(3): ES Cluster Extended Azure Storage
Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储 ...
- Azure vm 扩展脚本自动部署Elasticsearch集群
一.完整过程比较长,我仅给出Azure vm extension script 一键部署Elasticsearch集群的安装脚本,有需要的同学,可以邮件我,我给你完整的ARM Template 如果你 ...
- //Build/ 2014 开发者大会Azure重点整理
寓教于乐,轻松掌握 Windows Apps和 Cloud //Build/ 2014开发者大会第二天重点整理 (上) //Build/ 2014开发者大会第二天的主题演讲主要包含两部分:Mic ...
- 【Azure Developer】使用Java代码启动Azure VM(虚拟机)
问题描述 在使用Java的启动Azure VM的过程中,遇见了com.azure.core.management.exception.ManagementException: Status code ...
- [OpenGL ES 02]OpenGL ES渲染管线与着色器
[OpenGL ES 02]OpenGL ES渲染管线与着色器 罗朝辉 (http://www.cnblogs.com/kesalin/) 本文遵循"署名-非商业用途-保持一致"创 ...
- Azure PowerShell (9) 使用PowerShell导出订阅下所有的Azure VM的Public IP和Private IP
<Windows Azure Platform 系列文章目录> 笔者在之前的工作中,有客户提出想一次性查看Azure订阅下的所有Azure VM的Public IP和Private IP. ...
- Windows Azure Virtual Machine 之用程序控制Azure VM
我们在很多时候可能会需要用程序来控制VM的创建,删除工作. 而在这些工作之中,用程序创建一个VM将会是一个非常复杂的过程,因为他涉及到很多步骤. 具体步骤如下 1 创建一个Hosted cloud s ...
- Windows Azure Virtual Machine (24) Azure VM支持多网卡功能
<Windows Azure Platform 系列文章目录> Update 2016-03-30 一个VM的多张网卡可以在一个VNet的同一个Subnet子网下,笔者亲自测试过了. 如果 ...
随机推荐
- elment-ui table组件 -- 远程筛选排序
elment-ui table组件 -- 远程筛选排序 基于 elment-ui table组件 开发,主要请求后台实现筛选 排序的功能. 需求 排序 筛选 是对后台整个数据进行操作,而不是对当前页面 ...
- POJ 3259 Bellman_Ford算法
额.关键是读题.反正我是看了解题报告才知道意思的.给你n个点.m条路.双向的.耗费时间.w个虫洞.单向的.时间为负值.问你是否可以从某一点返回看到之前的自己.即为判断是不是有负环.用Bellman_F ...
- hadoop mongodb install(3)
reference:http://dblab.xmu.edu.cn/blog/868-2/ root@iZuf68496ttdogcxs22w6sZ:~# mv mongodb-linux-x86_6 ...
- Scrapy-redis实现分布式爬取的过程与原理
Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取.但是当我们要爬取的页面非常多的时候,单个主机的处理能力就不能满足我们的需求了(无论是处理速度还是网络请求 ...
- (C/C++学习笔记) 十二. 指针
十二. 指针 ● 基本概念 位系统下为4字节(8位十六进制数),在64位系统下为8字节(16位十六进制数) 进制表示的, 内存地址不占用内存空间 指针本身是一种数据类型, 它可以指向int, char ...
- 动态链接库DLL_第1篇
动态链接库通常不能直接运行,也不能接收消息.它们是一些独立的文件,其中包含能被可执行程序或其他DLL调用来完成某项工作的函数.只有在其他模块调用动态链接库中的函数时,它才发挥作用.实际编程时,可把完成 ...
- 太完美 TWM000极度精简版XP20130123终结美化版
TWM000极度精简版XP20130123终结美化版:蛋蛋20130123终结版为蓝本,虫子提供的美化包进行了美化.此版经测试完美在Z77主板开启AHCI安装,此为最终版之美化版!LiteXPMH.i ...
- 统一异常处理@RestContrllerAdvice,@ExceptionHandler(转载)
思想很重要 统一异常处理实现方式:使用注解@RestContrllerAdvice,@ExceptionHandler 先想明白一个问题:定义统一异常处理类之后,是不是在Contrller中就不用捕获 ...
- c# 进程调用exe
using System; using System.Collections.Generic; using System.ComponentModel; using System.Diagnostic ...
- WebGL编程指南理论分析之物体的运动和点光源
之前的所有案例中物体都是静止的并且是平行光照射,这里我们来讨论一下运动物体和点光源. 一.运动物体 我们知道对于一个提供原始顶点坐标和原始顶点法向量数据的着色器绘制出来的图形看上去是这样的: 看上去很 ...