修改hostname bogon 为localhost 查看ip地址 [training@bogon ~]$ sudo hostname localhost [training@bogon ~]$ hostname 执行结果 此时python 版本为2.7 将python版本升级至3.0及以上 一.            下载欲升级python版本 Python-3.4.5,将包放于本机与虚似机的共享目录下,上传至虚似机的opt目录下 二.            解压 三.阅读README安装步…

http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件,前提是你已经安装了eclipse.maven.jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我…

基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统ubuntu11.10 单机模式 Hadoop版本:hadoop-0.20.1 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃,让人郁闷) 第一步:先启动hadoop守护进程 具体参看:http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html 第二步:在eclipse上…

已经自学了好几个月的大数据了,第一个月里自己通过看书.看视频.网上查资料也把hadoop(1.x.2.x).spark单机.伪分布式.集群都部署了一遍,但经历短暂的兴奋后,还是觉得不得门而入. 只有深入大数据开发才能逐步掌握大数据.而首先要搭开发环境,对于一个像我这样之前只做过plsql开发的人来说,确实走了很多弯路.一开始目标设得很高,直接下源代码编译成jar包进行使用,后来发现其实没什么必要,受到一些非技术因素尤其是天朝特色社会主义网络的影响,sbt基本无法使用,直接下官方编译好的版本就行了…

以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些.具体环境配置不是太复杂,具体可以看https://github.com/apache/spark 1.代码下载 git clone https://github.com/apache/spark.git 2.直接构建spark 我是基于hadoop2.2.0的…

1. 新建maven project 2. Group id : org.scala-tools.archetypes Artifact id : scala-archetype-simple Version : 1.2 3. 修改pom.xml文件(添加Hadoop client 及spark core 依赖) http://mvnrepository.com/ Hadoop client. 查找对应的Hadoop版本的文件 同理, spark client copy以上文件到pom.xml中…

http://blog.csdn.net/pipisorry/article/details/51243805 Hadoop简介 下次写上... 皮皮blog 配置hadoop环境可能出现的问题 每次format之前最好删除掉保存的日志等文件,免得namenode和datanode的id不一致而出现问题.搭建完成后运行时候遇到过卡到map阶段不会动情况,然后配置了一下yarn内存可以用了.每次format之前最好删除掉保存的日志等文件,免得namenode和datanode的id不一致而出现问题…

CDH 5.x搭建请参考CentOS 7离线安装CDH 5.16.1完全指南(含各种错误处理). 如果使用的是cloudera quickstart vm,则只能在linux服务器中使用eclipse提交,无法远程访问(主要是quickstart绑定的所有ip都是localhost所致,所以最好还是自己搭建一个单机的hadoop环境). 安装包下载 hadoop-2.6.5.tar.gz(最好是和服务器版本保持一致,避免出现各种版本不匹配导致的接口不匹配问题) 解压 hadoop.dll-and…

兄弟连大数据培训和大家一起探究Jupyter配置 Spark 开发环境 简介 为Jupyter配置Spark开发环境,可以安装全家桶–Spark Kernel或Toree,也可按需安装相关组件. 考虑到一般人更喜欢一步到位,并且Toree将会代替Spark Kernel,故直接且仅需安装Toree即可,不过下面还是给出了所有的安装方法. Spark Kernel的安装 参照Spark Kernel支持的语言,安装好Spark Kernel后,其默认可以支持Scala,Python,R,SQL,对…

机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定. 同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:…