在去年图计算工作中,和公司里实习的博士生尝试过Spark后,发现Spark比Hadoop在计算速度上后很大的提高.Spark的计算使用Scala语言编写代码,其中图计算用到了GraphX.对Spark技术的学习已经非常重要.     最近半年多时间里,经常看书学习,特别是看Spark亚太研究院王家林老师的Spark技术视频,觉得受益很多.     国家已经把大数据放到了战略的高度,从事互联网技术的你是否也该在大数据技术上走在时代的前列?加入最专业最前沿的技术学习行列非常重要.     要想掌握大

安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/profile #scala export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH export PATH=$PATH:$SCALA_HOME/bin 保存退出

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定. 同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:

安装spark 安装hadoop 安装ssh,调试免密钥登录 配置hadoop 配置yarn 测试

在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件. 安装服务 选择on yarn 模式:上面 Spark 在spark 服务中添加 在yarn 服务中添加 getWay 后重新 启动服务端 用hdfs 用户进入 spark bin 目录 cd /opt/cloudera/parcels/CDH/lib/spark/bin 执行 ./spark-submit --class org.apache.spark.examples.SparkPi --maste

Spark版本 1.6.0 Scala版本 2.11.7 Zookeeper版本 3.4.7 配置虚拟机 3台虚拟机,sm,sd1,sd2 1. 关闭防火墙 systemctl stop firewalld systemctl stop firewalld 如果不关闭防火墙,需要为防火墙添加进站出站规则,否则无法访问spark的管理页面 2. 修改机器名 hostnamectl set-hostname sm 其他2台机器同上 3. 修改host vim /etc/hosts 4. 配置ssh免

在安装spark之前,首先需要安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇: https://blog.csdn.net/weixin_42001089/article/details/81865101 ################################################################################################## Hadoop按上面文章配置后,启动hdfs文件系统以及yarn资源调度器: 使

根据博客总结 https://blog.csdn.net/nxw_tsp/article/details/78281533 需要的安装软件可以在网盘下载: 链接:https://pan.baidu.com/s/1BgtNERopcxUf7DwiultMnw 提取码:nvnv 一.安装Scala 下载地址:http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本.特别注意的是看帖子又的说S

在linux上安装spark ,前提要部署了hadoop,并且安装了scala. 提君博客原创 对应版本 >>提君博客原创  http://www.cnblogs.com/tijun/  << 名称 版本 JDK 1.8.0 hadoop 2.6.0 scala 2.11.0 spark 2.2.0 第一步,下载  https://spark.apache.org/downloads.html 第二步,解压 tar -zxvf spark--bin-hadoop2..tgz 第三步

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上

原文连接:http://spark.apache.org/docs/1.5.0/building-spark.html · Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory Usage · Specifying the Hadoop Version · Building With Hive and JDBC Support · Building for Scala 2.11

一.安装依赖软件Scala(所有节点) 1.下载Scala:http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2.解压: [root@Hadoop-NN-01 ~]# tar -xzvf scala-2.10.4.tgz -C /usr/local/ 3.配置scala环境变量 [root@Hadoop-NN-01 ~]# vim /etc/profile export SCALA_HOME=/usr/local/scala exp

版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3    RedHat6.5上安装Hadoop单机 scala-2.11.8 spark-2.1.1-bin-hadoop2.7 1 安装Spark依赖的Scala Hadoop的安装请参考上面提到的博文,因为Spark依赖scala,所

版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3   RedHat6.5上安装Hadoop集群 scala-2.11.8 spark-2.1.1-bin-hadoop2.7 1 安装Spark依赖的Scala Hadoop的安装请参考上面提到的博文,因为Spark依赖scala,所以

Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤. 1 安装scala 1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/ 1.2 解压到文件夹 tar -xzvf scala-.tgz 1.3 设置环境变量 sudo nano /etc/profile export SCALA_HOME=/home/liucc/software/spark/scala- export PATH=$PATH:

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必

在卡饭学到了不少知识,下面是我的一个心得分享,希望大家能用的上. 用vmware安装gho文件心得 方法1:diskgenius+ghostexp用vm新建一个空白硬盘虚拟机, 记住虚拟机文件的存储位置, 最好将默认的scsi硬盘移除另外新建ide的硬盘(否则可能开机蓝屏),然后用host机DISKGENIUS软件的打开硬盘功能打开存储位置的vmdk文件,新建主分区(在host机里操作要看清楚,别选错了).利用vm的映射虚拟磁盘功能将刚才的主分区映射到host机(取消只读), 然后用ghoste

keepalived安装配置实战心得(实现高可用保证网络服务不间断) 一.准备2台虚拟机     安装的系统是:centos-release-7-1.1503.el7.centos.2.8.x86_64 二.每个虚拟机添加两个网卡    1.网络连接模式为 桥接模式(复制网络连接状态)    2.IP地址均         1号机器:第一个网卡IP静态配置 192.168.1.219 第二个网卡IP地址为动态分配 (DHCP) 2号机器:第一个网卡IP静态配置 192.168.1.94 第二个网

最终忍受不了公司使用论坛+Excel来进行bug反馈和管理工作了,于是花了一个上午时间研究了下bug管理系统.这样一个bug管理系统能够轻松的查看bug新增了哪些,攻克了哪些.当前是谁,要在什么时间解决.不管是qa还是程序都能够轻易的在这个系统上面查看当前要解决和复測的bug. 终于目标锁定为两个开源的项目管理系统,禅道和Redmine,两个都很优秀,而我的需求又很easy------能提交.追踪.反馈bug就能够了,这两个系统都是能够胜任的.尽管这篇文章解说的是Redmine的安装和使用心得,

Spark- Linux下安装Spark 前期部署 1.JDK安装,配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark--hadoop2..tgz /usr/spark--hadoop2. 3.在 /usr 下创建软链接到目标文件夹 [root@srv01 usr]# ln -s spark--bin-hadoop2. spark 4.修改配置文件