http://product.dangdang.com/23829918.html Spark作为新兴的.应用范围最为广泛的大数据处理开源框架引起了广泛的关注,它吸引了大量程序设计和开发人员进行相关内容的学习与开发,其中 MLlib是 Spark框架使用的核心.本书是一本细致介绍 Spark MLlib程序设计的图书,入门简单,示例丰富. 本书分为 12章,从 Spark基础安装和配置开始,依次介绍 MLlib程序设计基础.MLlib的数据对象构建.MLlib中 RDD使用介绍,各种分类.聚…

spark的安装简单,去官网下载与集群hadoop版本相一致的文件即可. 解压后,主要需要修改spark-evn.sh文件. 以spark standlone为例,配置dn1,nn2为master,使用zookeeper的方式进行HA. 配置如下: export JAVA_HOME=/app/jdk17079 export SCALA_HOME=/app/scala2105 export SPARK_MASTER_IP=nn2 export SPARK_WORKER_MEMORY=512m ex…

16:11 2015/11/235分钟windows wamp php安装phpunit 2015最新安装实践我花了一个下午和一个上午的时间注意:步骤中添加环境变量多的时候要保存很多步,知道窗口都自动消失完(我保存可 能点击少了一步,最后一步可能是按右上角的关闭按钮关闭的,导致一直出现phpunit 不是系统可执行命令的错误)注意,以下网址下载的phpunit只支持php5.6以上,我的wamp2.5中php5.5支持不了, 出现提示:This version of PHPUnit requir…

Spark standalone安装-最小化集群部署(Spark官方建议使用Standalone模式)        集群规划:    主机        IP                    软件      进程    sc1        192.168.1.61    spark    Master.Worker    sc2        192.168.1.62    spark    Worker    sc3        192.168.1.63    spark    W…

使用Xshell5连接VMware中安装的CentOS7系统 准备材料 Xshell 下载地址 VMware Workstation 12 Pro 下载地址 CentOS 7 64位系统 下载地址 安装 Xshell. VMware Workstation 12 Pro的安装我就不多做详述了,网上一大堆,大家自己问度娘吧. 这里附上虚拟机的密钥: 5A02H-AU243-TZJ49-GTC7K-3C61N 使用Xshell5连接VMware中安装的CentOS7系统 1.新建虚拟机 按照顺序安装…

在虚拟机下安装的centos7使用的网络是NAT模式,安装成功后ping主机地址显示 Network is unreachable 解决方案: 1)使用ifconfig命令查看网卡信息 2)进入/etc/sysconfig/network-scripts/ 查看这下面的文件 3)vi ifcfg-ens33 修改其中的ONBOOT=no 改成ONBOOT= yes 4)重启服务 systemctl restart network.service…

Spark简介安装和简单例子 Spark简介 Spark是一种快速.通用.可扩展的大数据分析引擎,目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLlib等子项目,Spark是基于内存计算的大数据并行计算框架.简单来说Spark是 内存迭代计算,每个算子将计算结果保存在内存中,其他算子,读取这个结果,继续计算. Spark的四个特性: 1.快 Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数…

CentOS 6.5下PXE+Kickstart无人值守安装操作系统centos7.3 一.简介 1.1 什么是PXE PXE(Pre-boot Execution Environment,预启动执行环境)是由Intel公司开发的最新技术,工作于Client/Server的网络模式,支持工作站通过网络从远端服务器下载映像,并由此支持通过网络启动操作系统,在启动过程中,终端要求服务器分配IP地址,再用TFTP(trivial file transfer protocol)或MTFTP(multic…

前面一篇已经安装好了ETCD.docker与flannel(k8s1.4.3安装实践记录(1)),现在可以开始安装k8s了 1.K8S 目前centos yum上的kubernetes还是1.2.0,因此我们只能是使用下载的安装包,进行kubernetes的安装 [root@bogon system]# yum list |grep kubernetes cockpit-kubernetes.x86_64 .el7.centos extras kubernetes.x86_64 -0.13.gi…

jdk-8u73-linux-x64.tar.gz hadoop-2.6.0.tar.gz scala-2.10.6.tgz spark-1.6.0-bin-hadoop2.6.tgz 1.安装jdk 解压jdk安装包到任意目录: cd /home/tom $ tar -xzvf jdk-8u73-linux-x64.tar.gz $ sudo vim /etc/profile 编辑/etc/profile文件,在最后加上java环境变量: export JAVA_HOME=/home/tom/…