一主多从 1 上传压缩包 2 解压 -bin-hadoop2..tgz 删除安装包 -bin-hadoop2..tgz 重命名 mv spark-1.6.2-bin-hadoop2.6/ spark  3 修改配置文件 cp spark-env.sh.template spark-env.sh cp slaves.template  slaves  vi slaves vi spark-env.sh 4 分发给另外几台机器 5 启动 指定某一台 启动所有 查看进程 http://mini1:80…

变量的定义 val a: Int = 1 var b = 2 方法和函数 区别:函数可以作为参数传递给方法 方法: def test(arg: Int): Int=>Int ={ 方法体 } val fun = (test _: Int =>(Int=>Int))=>函数体 逻辑执行语句 val a = if(条件){ 执行逻辑 返回值 }else{ 执行逻辑 } while(条件){ 执行逻辑 } val arr = Array(1,2,3,4,5) for(i <- 0…

iplocation需求 在互联网中,我们经常会见到城市热点图这样的报表数据,例如在百度统计中,会统计今年的热门旅游城市.热门报考学校等,会将这样的信息显示在热点图中. 因此,我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip段,统计热点经纬度. 练习数据 链接:https://pan.baidu.com/s/14IA1pzUWEnDK_VCH_LYRLw 提取码:pnwv package org.apache.spark import org.apache.spar…

计算圆周率 [root@mini1 bin]# ./run-example SparkPi [root@mini1 bin]# ./run-example SparkPi [root@mini1 bin]# ./run-example SparkPi 运行spark-shell的两种方式: 1直接运行spark-shell 单机通过多线程跑任务,只运行一个进程叫submit 2运行spark-shell --master spark://mini1:7077 将任务运行在集群中,运行submit…

1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz 2. cd apache-bin; cd conf; -- 修改环境变量 -- 重命名 mv flume-env.sh.template flume-env.sh vi flume-env.sh 测试小案例 1 在 flume的conf文件下建一个文件 vi   netcat-logger.con…

1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin 5 启动hive cd apps/hive bin/hive 出现上面的问题是因为版本不兼容 解决一下版本不兼容问题:替换 app…

上传centOS6.7-hadoop-2.6.4.tar.gz 解压 tar -zxvf centOS6.7-hadoop-2.6.4.tar.gz hadoop相关修改配置 1 修改 /root/apps/hadoop/etc/hadoop  目录下的hadoop-env.sh vi hadoop-env.sh 中 export JAVA_HOME=${JAVA_HOME}修改为 export JAVA_HOME=/root/apps/jdk1.7.0_80保存退出 2 修改 core-sit…

用源码工程来编译安装 / 到官网下载最新stable版 / 解压源码并进入目录 .tar.gz -C ./redis-src/ / make 如果报错提示缺少gcc,则安装gcc : yum install -y gcc 如果报错提示:Newer version of jemalloc required 则在make时加参数:make MALLOC=libc / 安装redis,指定安装目录,如 /usr/local/redis make PREFIX=/usr/local/redis inst…

https://www.cnblogs.com/jtlgb/p/5726161.html 安装tomcat6 yum install tomcat6 tomcat6-webapps tomcat6-admin-webapps 启动tomcat6 service tomcat6 start 停止tomcat6 service tomcat6 stop 重启tomcat6 service tomcat6 restart 按照以上方法安装tomcat6默认目录在/usr/share/tomcat6/下…

---恢复内容开始--- 一.下载VMware,安装 二.新建虚拟机 1.FIle-->new virtual machine 后面进入硬件资源分配,其中cpu给1个,内存至少给1G,网卡的选择如下图: 2.启动虚拟机 用户 :hadoop/hadoop root/hadoop ---恢复内容结束--- 一.下载VMware,安装 二.新建虚拟机 1.FIle-->new virtual machine 后面进入硬件资源分配,其中cpu给1个,内存至少给1G,网卡的选择如下图: 2.启动虚拟机…