Windows Azure HDInsight是一个面向大数据的PaaS服务,是PaaS版本的Hadoop。HDInsight是微软与Hortonworks合作的产物。可以理解为Hortonworks针对Windows Azure的一个发行版。

国际版的HDInsight支持Windows和Linux实例,而中国版目前只支持Windows实例,即中国版的HDInsight是运行在Windows Server操作系统上的。

1、虚拟网络支持

HDInsight是支持虚拟网络的,用户可以将HDInsight集群创建在已经存在的虚拟网络中。这样用户就可以在Windows Azure虚拟机上使用内网地址来访问HDInsight集群。在HDInsight集群创建向导的第二步,点击“区域和虚拟网络”下拉框就可以选择现有的虚拟网络。

2、远程登陆(RDP)HDInsight头节点和Hive元数据存储。用户在创建HDInsight集群的过程中可以开启头节点的远程登陆(RDP)功能。处于安全目的,远程登陆用户和HTTP用户(web控制台用户)需要设置不同的用户名,而且要求使用高强度的密码。远程登陆还需要设置有效期。不过别担心,这个有效期是可以通过管理界面进行修改的;用户可以选择将Hive和Oozie的元数据保存在SQL Database (SQL Azure)中,这样即便是用户删除并重建集群,元数据也不会丢失。

3、执行自定义脚本。默认情况下,所有节点上的管理员用户都被禁用了。用于远程登陆的用户也只是一个普通的Windows本地用户,不在Administrator组中,不能执行需要管理员权限的软件安装和设置等操作。针对有自定义需求的高级用户,HDInsight非常周到的提供了自定义脚本动作执行功能——在集群provisioning结束之前,以管理员权限执行用户自定义脚本。

  • 用PowerShell写用户自定义脚本,保存为[.ps1]文件。
  • 将[.ps1]文件上传到Windows Azure的Blob Storage上具有public访问权限的Container中。
  • 在HDInsight集群创建向导的最后一步引用Blob Storage上的[.ps1]文件并为其指定参数(如果[.ps1]文件需要参数的话)。

附上一段示例脚本,用于关闭HDInsight实例的Windows防火墙,并创建一个具有管理员权限的新用户。

  1. #关闭Windows Server防火墙
    Get-NetFirewallProfile | Set-NetFirewallProfile Enabled False
  2. #创建新用户,用户名:co-admin,密码:Admin#c0
  3. net user /add co-admin Admin#c0
  4. #将用户添加至管理员组
  5. net localgroup Administrators /add co-admin

Windows Azure HDInsight 使用技巧的更多相关文章

  1. Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集

     Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集 继去年 10 月推出 Windows Azure HDInsight 之后,我们宣布 Windows Az ...

  2. Windows Azure HDInsight 现已正式发布!

    今天,我们宣布正式发布 Windows Azure HDInsight 服务.HDInsight 是 Microsoft 提供的基于 Hadoop 的服务,为云提供 100% 的 Apache Had ...

  3. 介绍Windows Azure HDInsight服务的Hadoop Storm的视频

    介绍Windows Azure HDInsight服务的Hadoop Storm的原理,用例及开发入门的视频,收藏一下: http://channel9.msdn.com/Shows/Data-Exp ...

  4. Windows Azure一些小技巧集合

    我最近做了一个Windows Azure上面的项目,自己在做的过程中遇到了很多问题.有的是我自己摸索解决,有的是到网上寻找零碎的信息结合起来解决的.我感觉应当把某些解决方法集中一下,方便我以后查阅,也 ...

  5. 宣布发布 Windows Azure 导入/导出服务的预览版以及 Web 和移动解决方案场景的若干增强功能

    客户评估基于云的存储解决方案时,面临的挑战之一是以经济高效.安全快速的方式从 Blob 存储区移进和移出大量数据.今天,我们很高兴地宣布发布 Windows Azure 导入/导出的预览版,这款新服务 ...

  6. Windows Azure上的大数据服务: HDInsight的介绍

    这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现:HDInsight,以及利用MapReduce来对大数据进行分析,利用Hive进行查询,利用客户端Power ...

  7. Azure HDInsight 和 Spark 大数据实战(一)

    What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Stor ...

  8. Windows Azure 如何学习Azure

    通过上一篇博文可以得知,Azure其实是个平台,上面跑的服务五花八门,可以相互分开使用,同时也可以相互结合. 那我们应该如何来学习Azure呢? 其实有很多种选择,正所谓条条大路通罗马, 官方的tra ...

  9. Windows Azure Azure 简介

    平台介绍 Windows Azure作为一个微软公有云平台,被寄予了厚望. 可以说Windows Azure与Windows RT一样是微软战略转型的重点. 2012年9月微软与中国本土的电信服务提供 ...

随机推荐

  1. 左求值表达式,堆栈,调试陷阱与ORM查询语言的设计

    1,表达式的求值顺序与堆栈结构 “表达式” 是程序语言一个很重要的术语,也是大家天天写的程序中很常见的东西,但是表达式的求值顺序一定是从左到右么? C/C++语言中没有明确规定表达式的运算顺序(从左到 ...

  2. C#如何在钉钉开发平台中创建部门

    钉钉是阿里巴巴专为中小企业和团队打造的沟通.协同的多端平台,钉钉开放平台旨在为企业提供更为丰富的办公协同解决方案.通过钉钉开放平台,企业或第三方合作伙伴可以帮助企业快速.低成本的实现高质量的移动微应用 ...

  3. 【追寻javascript高手之路04】理解prototype

    前言 中午时候我去药店称了下体重,好家伙!我减肥成功了,足足比上个月瘦了10斤!于是想减肥就去郑州吧... 然后回来迷迷糊糊睡了一会,居然想起了周三的面试,有点小遗憾有点小触动. 这次回成都后,还没有 ...

  4. JavaScript学习笔记-基础语法、类型、变量

    基础语法.类型.变量   非数字值的判断方法:(因为Infinity和NaN他们不等于任何值,包括自身) 1.用x != x ,当x为NaN时才返回true; 2.用isNaN(x) ,当x为NaN或 ...

  5. Flex Viewer (二)——体系结构

    一.概述 在上一篇文章<深入浅出Flex Viewer (一)——概述>中,笔者对Flex Viewer用于构建以地图为中心的富客户端(RIA)应用的原型的功能和价值做了简要地介绍.在本文 ...

  6. 一次失败的APP业务渗透测试

    作者:whoamiecho 来源:ichunqiu 本文参加i春秋社区原创文章奖励计划,未经许可禁止转载! 一.  过程 1.1.事情起因:暴力破解 测试给了个普通用户账号,可以登录.APP一来就要登 ...

  7. Office 365 - SharePoint 2013 Online 在应用商店中添加应用

    1.在使用应用程序商店的时候,先点击配置应用商店设置,如下图: 2.发现SharePoint要求我们创建应用程序目录,用来分发SharePoint App的一个网站,不过不创建的话,依然可以在应用商店 ...

  8. JS魔法堂:jsDeferred源码剖析

    一.前言 最近在研究Promises/A+规范及实现,而Promise/A+规范的制定则很大程度地参考了由日本geek cho45发起的jsDeferred项目(<JavaScript框架设计& ...

  9. Spring Session

    开工开工, 准备条件: 1. 本地Redis,官网:http://redis.io/,windows下 https://github.com/ServiceStack/redis-windows ht ...

  10. 复杂sql分组查询 ( pivot)

    一个数据表里面字段有年.月.日.金额.支付方式等字段,然后现在想写个sql语句,把每一天的每种支付方式金额(支付方式有多重)排在同一行, 最后在增加一列小计当前的所有支付方式的金额.如下图: 原sql ...