Sunwei 9 Dec 2014 1:54 AM 传统的Hadoop系统提供给用户2个非常优秀的框架,MR计算框架和HDFS存储框架,尽管MR已经显得有些老迈而缓慢,但是HDFS还是很多应用系统的基石,很多应用都可以把HDFS作为系统的基本数据输入和输出方式.HDFS的基本特征就是数据是分布式切块存储,通过多副本冗余的方式来提供数据持久性保障,并且可以通过节点的增加来进行系统的扩容,这也是很多用户和系统所看重的特点.目前在Hadoop社区里面有各种各样的组件和解决方案用于处理海量数据.可靠性…

 Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集 继去年 10 月推出 Windows Azure HDInsight 之后,我们宣布 Windows Azure HDInsight 现在支持使用预览版 Hadoop 2.2 群集. Windows Azure HDInsight 是 Microsoft 在Windows Azure 部署的完全基于 Apache Hadoop 的解决方案.Hadoop 是一个分布式存储和处理平台,可对大量关系数据和非关…

介绍Windows Azure HDInsight服务的Hadoop Storm的原理,用例及开发入门的视频,收藏一下: http://channel9.msdn.com/Shows/Data-Exposed/General-Availability-and-Whats-new-with-the-Azure-Storm-Service…

What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等(具体的组件请参看最后的附录).Azure HDInsight 支持 Windows的集群部署,也支持 Linux 集群部署.Hortonworks 是我目前所知唯一支持在 Windows 上部署的 Hadoop C…

Windows Azure HDInsight是一个面向大数据的PaaS服务,是PaaS版本的Hadoop.HDInsight是微软与Hortonworks合作的产物.可以理解为Hortonworks针对Windows Azure的一个发行版. 国际版的HDInsight支持Windows和Linux实例,而中国版目前只支持Windows实例,即中国版的HDInsight是运行在Windows Server操作系统上的. 1.虚拟网络支持 HDInsight是支持虚拟网络的,用户可以将HDIns…

Sun wei  Sat, Feb 28 2015 3:07 AM Apache HBase是目前非常流行的NoSQL数据库,通过HDFS+Zookeep+Master+Region Server的架构避免了单点故障具有很高的可靠性.在Azure HDInsight中的HBase也提供了相应的功能,通过Azure Storage来代替HDFS并提供了3个zookeeper及在多个workernode上的region server,并提供每月99.9%的SLA.但是对于一些更苛刻的场景,用户还需要…

 今年月,我们宣布微软成为全球首家在中国公开发布云 Hadoop 产品公共预览版的云提供商.今天,微软非常高兴地宣布 AzureHDInsight现已在中国正式发布.中国本土组织以及在中国设立了办事处的跨国集团均可在数分钟内启动一个 Hadoop群集. ·        中国版 AzureHDInsight 页面(中文) ·        Azure试用(中文) ·        Azure HDInsight文档(中文)…

今天,我们宣布正式发布 Windows Azure HDInsight 服务.HDInsight 是 Microsoft 提供的基于 Hadoop 的服务,为云提供 100% 的 Apache Hadoop 解决方案. HDInsight 具有以下优势: ·   通过熟悉的工具洞察:通过与 Microsoft BI 工具(如 PowerPivot.Power View)进行深度集成,HDInsight 使您可以利用 Hadoop 轻松找到洞察数据信息.实现 HDInsight 等多个源的数据与…

Sun wei  Wed, Feb 25 2015 2:17 AM Apache Thrift 是一种可扩展的跨语言服务接口,可以通过内置的代码生成引擎帮助创建跨语言服务类库,Apache HBase 也是通过Thrift sever与Python,Ruby等其他程序开发语言进行交互.但是默认情况下Thrift Server默认不是启动的,需要手工处理一下.在Azure HDInight HBase中这种处理的方式有2种,我们可以根据使用场景来进行配置. 第一种方法相对简单,我们可以通过RDP远…

一.前言:本文是个实践博客,演示如何结合使用自定义库和 HDInsight 上的 Spark 来分析日志数据. 我们使用的自定义库是一个名为 iislogparser.py的 Python 库. 每步的输入和对应的输出 纠正了原文中一个因版本引起的小问题 前提:你先在Azure HDinsight上有一个Apache Spark集群,(似乎现在只能是2.*版本的spark了) 二.将原始数据另存为 RDD 在本部分中,将使用与 HDInsight 中的 Apache Spark 群集关联的 Ju…