ES(2): Build ES Cluster on Azure VM】的更多相关文章

目录: 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见: HDP2.4安装(二):Centos7配置 修改network: 修改hosts: 配置ssh : 配置ntp服务 配置selinux 安装java jdk 文件数与虚拟内存配置 命令:vim /etc/sysctl.conf   打开编辑器中增加如下配置 fs.file-max=655350 vm.max_map_count=655360 执行命令:sysctl -p 命令: vim /…
目录: 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见: HDP2.4安装(二):Centos7配置 修改network: 修改hosts: 配置ssh : 配置ntp服务 配置selinux 安装java jdk 文件数与虚拟内存配置 命令:vim /etc/sysctl.conf   打开编辑器中增加如下配置 fs.file-max=655350 vm.max_map_count=655360 执行命令:sysctl -p 命令: vim /…
Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程. 目录: LVM基本术语 Azure Storage 介绍 ES cluster 配置Azure Storage LVM基本术语 LVM:是Linux提供的逻辑盘卷管理(Logical VolumeManager)的简称 物理存储介质(The physical media): 这…
一.完整过程比较长,我仅给出Azure vm extension script 一键部署Elasticsearch集群的安装脚本,有需要的同学,可以邮件我,我给你完整的ARM Template 如果你不是用Azure VM ,也没关系,我的bash脚本都是一个个的函数,你可以自己改造成自己的Linux安装脚本. 二.此脚本的诞生是为了解决两个问题: ELK在线安装有时候会异常缓慢,导致整个在线安装脚本奔溃 一个一个vm节点部署Elasticsearch集群比较繁琐,此处实现一键自动生成集群 大致…
 寓教于乐,轻松掌握 Windows Apps和 Cloud //Build/ 2014开发者大会第二天重点整理 (上) //Build/ 2014开发者大会第二天的主题演讲主要包含两部分:Microsoft Azure的发展状况,以及 .NET和生态系统的发展介绍.第二天的重点整理也由此分为上下两部分.您可以在Channel 9上观看完整的视频. Microsoft Azure近况 这一天的主题演讲由 Microsoft云与企业工程组的新任总裁 -- Scott Guthrie主讲,他首先…
问题描述 在使用Java的启动Azure VM的过程中,遇见了com.azure.core.management.exception.ManagementException: Status code 404错误,纠起原因就是订阅无法发现.详细的错误为: Selected subscription: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx com.azure.core.management.exception.ManagementException: Status…
[OpenGL ES 02]OpenGL ES渲染管线与着色器 罗朝辉 (http://www.cnblogs.com/kesalin/) 本文遵循"署名-非商业用途-保持一致"创作公用协议 前言 在前文<[OpenGL ES 01]iOS上OpenGL ES之初体验> 中我们学习了如何在 iOS 平台上设置OpenGL ES 环境,主要是设置 CAEAGLLayer 属性,创建 EAGLContext,创建和使用 renderbuffer 和 framebuffer,并知…
<Windows Azure Platform 系列文章目录> 笔者在之前的工作中,有客户提出想一次性查看Azure订阅下的所有Azure VM的Public IP和Private IP.笔者研究了一下Azure相关的PowerShell,可以实现.在这里笔者简单分享一下: 1.将http://files.cnblogs.com/files/threestone/ExportVMList.rar文件保存至本地目录 2.安装Windows Azure PowerShell工具,下载地址是:htt…
我们在很多时候可能会需要用程序来控制VM的创建,删除工作. 而在这些工作之中,用程序创建一个VM将会是一个非常复杂的过程,因为他涉及到很多步骤. 具体步骤如下 1 创建一个Hosted cloud service 2 选中一个Azure 中的image 来创建对应的VHD 3 选择一个路径来存放这个创建的VHD 4 选择这个VM需要开放的端口,需要远程登录的账号密码等等配置信息. 5 创建一个带有若干个虚拟机的部署. 如果想用代码来实现的话,现在有两种方式 1 用REST API 2 用Mana…
<Windows Azure Platform 系列文章目录> Update 2016-03-30 一个VM的多张网卡可以在一个VNet的同一个Subnet子网下,笔者亲自测试过了. 如果我们需要在同一个DNS下,用多个Azure VM实现负载均衡. 则创建的第一台Azure VM必须是多网卡才行. 不支持第一台虚拟机是单网卡,以后创建的虚拟机是多网卡 Windows Azure VM在默认情况下,是一张网卡,2个IP地址.在很多情况下,我们需要Azure支持多张网卡,在这里笔者简单介绍一下.…
<Windows Azure Platform 系列文章目录> 微软Azure在设计架构的时候,从安全角度考虑,是禁用ICMP协议的.所以对于Azure VM,是无法使用ping命令的. 为了能监控到Azure VM的网络情况,我们可以使用tcp协议工具PSPing. 下载地址是:http://technet.microsoft.com/en-us/sysinternals/jj729731 注意,我们在使用psping命令的时候,目标服务器是要带端口号的.如下图: 在Linux 平台,我们也…
<Windows Azure Platform 系列文章目录> 当我们使用Windows Azure管理界面,创建Azure虚拟机的时候,默认挂载的磁盘是固定大小的 1.比如我创建1个Windows Server虚拟机 2.需要挂载额外的数据磁盘,一开始我初始化数据磁盘的容量为500G 3.经过一段时间以后,500GB容量不够了,我需要将这块数据磁盘扩容 注意:Azure A系列和D系列的虚拟机,磁盘容量是用多少算多少.比如我们挂载了1TB的数据磁盘,但是实际只使用1GB的存储空间. 微软只会…
<Windows Azure Platform 系列文章目录> 我在使用Azure Virtual Machine虚拟机的时候,常常会结合Virtual Network虚拟网络一起使用. 但是有的时候,我们部署在虚拟网络的Subnet子网信息有误,我想修改这台虚拟机所属的子网,应该怎么修改? 在这里我简单的介绍一下. 注意:笔者介绍的是,把VM,从Virtual Network的一个Subnet子网,迁移到同一个VNet的另外一个Subnet子网里 1.首先,我们有一个虚拟网络VNet,有2个…
我们在开发Windows Azure的应用程序,虽然在大部分的情况下都可以使用Azure Emulator模拟器来模拟在云端计算节点(Azure VM)的执行结果,但是并不能100%模拟真正在Azure VM中的运行情况.开发人员更倾向于时间远程桌面来查看Azure VM,比如查看系统日志.临时文件等内容.Windows Azure SDK提供了对于Azure VM的远程桌面登录的支持,增强了用户体验.本章我给大家介绍一下相关的内容. 1.新建Azure Project(过程略) 2.发布Azu…
在客户创建的客服案件中, Azure VM意外重启是一个常见的问题,客户要求客服确定重新启动的原因.希望下面的详细说明能够帮助您了解 Azure VM重新启动的原因. WindowsAzure大约每 2-3个月更新一次主机环境,以确保始终为平台上运行的所有应用程序和虚拟机提供安全的环境.此更新过程可能会导致您的 VM重新启动,造成使用虚拟机功能托管的应用程序/服务停机.没有选项或配置可以避免这些主机更新.除平台更新外,当检测到主机服务器故障时,Windows Azure 服务会自动修复,在该…
三个A2 Size的VM,运行Windows Server 2012: AD Server,SQL Server,App Server 将AD Server的ip地址填写到Windows Azure虚拟机网络的网关列表中,否则客户端无法加入域. AD Server中的DNS服务添加一个转发器,目标地址为任意国内公网DNS或者外国的Google DNS都可以,否则很多域名无法解析. SQL Server除了开放TCP 1433端口外,还需要开放TCP 445端口.否则App Server连接不到数…
在Azure China用自定义镜像创建Azure VM Scale Set 在此感谢世纪互联的工程师Johnny Lee和Lan,你们给了我很大的帮助.因为Azure China的官网没有给出完整的步骤,所以我在这里把完整的步骤总结一下,希望对大家有所帮助. Azure Global有一篇介绍如何用自定义镜像创建Azure VM Scale Set的文章.因为里面用到的"type": "Microsoft.Compute/images" 部分,我自己没在Azure…
<Windows Azure Platform 系列文章目录> 之前使用Azure VM,挂载box网盘.发现不能正常挂载,这里简单记录一下. 1.WebDAV的网络映射,需要WebClient这个服务,但是Azure VM上的Windows Server系统默认没有安装WebClient.我们需要手动安装 2.服务管理器,Add Roles and Features Wizard,选择Features,然后选择User Interfaces and Infrastructure中,选择Des…
Azure 托管磁盘无需单独管理存储帐户,从而简化了存储管理. 还可以将现有的 Azure VM 迁移到托管磁盘,以便受益于可用性集中 VM 的更佳可靠性. 它可确保可用性集中不同 VM 的磁盘完全相互隔离,以避免出现单点故障. 它会自动将可用性集中不同 VM 的磁盘置于不同的存储缩放单位(戳),限制由于硬件和软件故障引起的单个存储缩放单位故障影响. 根据需求,可以从两种类型的存储选项中进行选择: 高级托管磁盘是基于固态硬盘 (SSD) 的存储介质,可为运行 I/O 密集型工作负荷的虚拟机提供高…
使用 Azure 应用商店和 Azure 门户中的 Microsoft HPC Pack 2012 R2 虚拟机映像创建 HPC 群集的头节点. 此 HPC Pack VM 映像基于预安装了 HPC Pack 2012 R2 Update 3 的 Windows Server 2012 R2 Datacenter. 使用此头节点在 Azure 中进行 HPC Pack 的概念证明部署. 然后,可以向该群集添加计算节点,以运行 HPC 工作负荷. Tip 若要在 Azure 中部署完整的 HPC…
云计算里AWS和Azure的探究(5) ——EC2和Azure VM磁盘性能分析 在虚拟机创建完成之后,CPU和内存的配置等等基本上是一目了然的.如果不考虑显卡性能,一台机器最重要的性能瓶颈就是硬盘.由于无论是EC2还是Azure VM都使用了虚拟机,而存储盘也是以某种形式存放在磁盘阵列或者NAS设备中,所以磁盘的读写性能成为使用云计算虚拟服务器里最重要的考虑因素.这一节我们先不去考虑EC2里面的Elastic Block Store或者Azure里面的Azure Drive的具体实现,而使用免…
自定义映像类似于应用商店映像,不同的是自定义映像的创建者是你自己. 自定义映像可用于启动配置,例如预加载应用程序.应用程序配置和其他 OS 配置. 在本教程中,你将创建自己的 Azure 虚拟机自定义映像. 你将学习如何执行以下操作: 取消预配和通用化 VM 创建自定义映像 从自定义映像创建 VM 列出订阅中的所有映像 删除映像 Note 在 Azure 中国区使用 Azure CLI 2.0 之前,请先运行 az cloud set -n AzureChinaCloud 来改变云环境.如果想切…
This post is authored by Lalitesh Kumar, Pradeep M G and reviewed by Avinash Venkat Reddy. Also special thanks to Adam Conkle and Craig Landis for providing the "points to consider from Azure SLB perspective". FTP may run in active or passive mo…
有时 Azure 虚拟机 (VM) 可能重启,即使没有明显原因,也没有证据表明用户发起重启操作. 本文列出了可导致 VM 重启的操作和事件,并针对如何避免意外重启问题或减少该问题影响提供见解. 配置 VM 以实现高可用性 若要防止 Azure 上运行的应用程序出现任何类型的 VM 重启和停机问题,最佳方式是配置 VM 以实现高可用性. 若要为应用程序提供此级别的冗余,建议两个或更多 VM 组合到一个可用性集中. 这种配置可确保发生计划内或计划外维护事件时,至少有一个 VM 可用,并满足 99.9…
目前Azure上复制VM可以有多种方法: 1 创建User Image,可以快速复制多台VM,但目前托管磁盘只支持Generalized的模式,需要对User和配置进行重置. 2 从VHD或托管磁盘复制VM,通过Json Template.Powershell.CLI或SDK的方式等,都可以快速复制VM,但需要自己添加数据盘 本文的Powershell脚本将通过采用对VHD或托管磁盘的复制实现对VM的复制,包括OS Disk和Data Disk. 具体实现方式: 1 读取csv配置文件 具体参数…
Azure的管理平台采用Restful API的方式实现管理.比如获取VM的管理API的各种操作的文档请参考: https://docs.microsoft.com/en-us/rest/api/compute/virtualmachines/get 微软发布的各种SDK,PowerShell或CLI都是基于这些API进行的封装,方便操作. 本文将采用Python来获取Azure VM的状态信息. 1 安装Python的Azure模块 Python的Azure模块的Github链接: https…
目前China的Azure VM资源监控默认是不打开的.本文将介绍如何开启VM的监控功能. 一 Azure VM 打开Azure的Portal页面https://portal.azure.cn,登录后,点击Virtual Machine: 可以看到在Monitoring的部分是没有数据的. 二 开启Diagnostic功能 在VM的菜单中,点击Diagnostics Setting的按钮,如下图中,将Status选为On,如果需要查看Boot信息,把Boot Diagnostics的选项勾选:…
Azure的IaaS有ASM和ARM两个版本,ARM的一些优点前面已经聊过很多了.ARM有更细的管理颗粒度,更多的功能等. 如果想从ASM迁移到ARM,目前有两类方法可以实现: 1. Azure平台支持的迁移工具 2. 脚本或工具实现的VHD复制,再创建虚拟机 下面我们分别来介绍两种方式. 一.Azure平台支持的迁移工具 1. 介绍 Azure平台支持的迁移工具的实质,是将Azure VM的管理权从ASM迁移到ARM.而在这个过程中,Azure VM的Disk.Network以及CPU和Mem…
Azure的VM的设计中,Disk相关的设计是非常重要的一个内容,本文将介绍Azure上的VM的Disk相关的一些最佳实践和一些小的技巧. 一.Azure VM中Disk的存储账户设计 1. Storage类型的选择 Azure VM的Disk服务是Azure Storage中blob存储服务中的Page Blob.Azure的Storage服务的种类有: 目前,国内还只有LRS.GRS和RA-GRS三种模式.由于LRS的Ingress和Egress的吞吐量比GRS都要大(请参考下面Storag…
Azure的VM提供了一种管理工具叫Azure VM Extension.它实现了一些管理虚拟机所需要的重要功能,比如:重设密码.设置RDP参数.以及许多其他关键的功能,并且Azure VM一直在添加新的Extension.默认情况下,创建的Windows VM会安装以下几个基本的VM Extension,包括IaaSDiagnostics,VMAccess和BGInfo.Linux的VM,如果开启Diagnostics功能,默认会安装LinuxDiagnostic的Extension. 通过A…