macbook安装scala、hadoop、saprk环境
一、scala安装
1. 安装jdk
有mac专用的jdk安装包,这里下载安装jdk1.8
2. 安装scala
2.1下载scala
2.2解压到指定目录
tar -zxvf /Users/lodestar/Desktop/临时/scala-2.12.15.tar -C /Users/lodestar/software
2.3环境变量配置
vi ./bash_profile
我本机装过python和maven,这里再加入scala配置
PATH="/Library/Frameworks/Python.framework/Versions/3.7/bin:${PATH}"
export PATH
export M2_HOME=/Library/apache-maven-3.6.3
export PATH=$PATH:$M2_HOME/bin
export SCALA_HOME=/Users/lodestar/software/scala-2.12.15
export PATH=$SCALA_HOME/bin:$PATH
保存退出
source .bash_profile让配置生效
echo $SCALA_HOME 验证配置是否生效
2.4.执行./scala进入控制台
2.5 编写,编译执行scala代码
文件后缀.scala;编译:scalac Helloworld.scala
3.Hadoop安装
3.1下载后解压到指定目录
tar -zxvf /Users/lodestar/Desktop/临时/hadoop-2.8.5.tar.gz -C /Users/lodestar/hadoop
hadoop目录结构如下:
bin:客户端工具
sbin:启动hadoop相关进程的脚本
etc/hoadoop:hadoop配置文件
share:常用例子
3.2 hadoop参数配置
vi ./bash_profile
export HADOOP_HOME=/Users/lodestar/hadoop/hadoop-2.8.5
export PATH=$HADOOP_HOME/bin:$PATH
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
hadoop-env.sh
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/lodestar/hadoop/tmp</value>
</property>
slaves
hadoop000
3.4.ssh免密码登录,否则启动hadoop需要不断输入密码
--hadoop用户操作
ssh localhost --产生.ssh的隐藏目录
ssh-keygen -t rsa --产生密钥对(1路回车)
cat id_rsa.pub >> authorized_keys --讲公钥写入authorized_keys
chmod 600 authorized_keys --authorized_keys 只有创建者有读写权限
ssh localhost 测试,不需要密码配置成功
3.5 初始化文件系统
第一次启动前格式化文件系统
hdfs namenode -format
3.6 启动hadoop
进入sbin目录:
启动Start-dfs.sh
关闭stop-dfs.sh
3.7验证
Jps命令查询看到namenode和datanode进程
测试一下:
hadoop fs -ls /
hadoop fs -put README.txt /
进入浏览器查看hdfs状态
4 Spark安装和配置
4.1、Spark安装
tar xvf /Users/lodestar/Desktop/临时/spark-3.0.3-bin-hadoop2.7.tar -C /Users/lodestar/spark
4.2、Spark配置
1.配置环境变量
修改~/.bash_profile
export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
使得配置修改生效:source .bash_profile
2.修改配置文件spark-env.sh
1.修改conf下的spark-env.sh.template为spark-env.sh
cp spark-env.sh.template spark-env.sh
2:修改配置
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export SCALA_HOME=/Users/lodestar/software/scala-2.12.15
export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7
#SPRAK MASTER地址
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_EXECUTOR_MEMORY=500M
export SPARK_WORKER_MEMORY=1G
#spark master UI地址
export master=spark://127.0.0.1:7070
3.修改配置文件slaves
1.修改conf下的spark-env.sh.template为spark-env.sh
cp slaves.template slaves
echo “localhost” >> slaves
4.启动spark
./start-all.sh
使用jps查看,master上会有Master和Worker,worker节点上会有Worker
http://1192.168.251.86:8080查看spark的web界面
5.执行spark提供的默认demo
spark-submit --class org.apache.spark.examples.SparkPi --master spark://lodestardembp-2:7077 /Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7/examples/jars/spark-examples_2.12-3.0.3.jar
--这里以前写的是localhos:7077,始终不能正常解析,后面换成spark web ui上的机器名
macbook安装scala、hadoop、saprk环境的更多相关文章
- Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中
一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop, ...
- scala+hadoop+spark环境搭建
一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; ...
- RHEL7.2 安装Eclipse-oxygen Hadoop开发环境
1 Eclipse-oxygen下载地址 http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/re ...
- [Linux] 安装JDK和Maven及hadoop相关环境
紧接上一篇,继续安装hadoop相关环境 JDK安装: 1. 下载,下面这两个地址在网上找的,可以直接下载: http://download.oracle.com/otn-pu ...
- 安装Scala开发环境
Scala 介绍 Step 1: 安装 Java开发环境 Scala 版本与Java版本的兼容关系 从Oracle网站下载JDK URL: http://www.oracle.com/technetw ...
- linux环境下载和安装scala
Linux下安装Scala和Windows下安装类似,步骤如下: 1.首先访问下载链接:http://www.scala-lang.org/download/默认这里下载的是Windows版本,这时点 ...
- 从VMware虚拟机安装到hadoop集群环境配置详细说明(第一期)
http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上 ...
- ubuntu环境下eclipse的安装以及hadoop插件的配置
ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要 ...
- linux安装scala环境
(安装scala的前提是已经安装好了jdk) 1.下载scala的安装包 wget https://scala-lang.org/files/archive/scala-2.11.0-M2.tgz 2 ...
随机推荐
- Centos7 暂时记录
chown 修改属主和属组信息 chown -R 对目录所有子的子目录和文件进行修改属主信息 w命令 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot ...
- 新增访客数量MR统计之NewInstallUserMapper相关准备
关注公众号:分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)云盘目录说明:tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一 ...
- Java在linux环境下和windows环境下日期字符串显示不同
图片如果损坏,点击链接: https://www.toutiao.com/i6511565147322974724/ 出现的现象: 在Java中我想要将当前的时间格式化为需要的字符串,然后存放到数据库 ...
- vue注册全局组件
在项目开发中能不能自己写一个组件可以像iview或者element那样可以不必引用就可以直接用呢?答案是可以的. 首先,写一个组件mainHeader. 接着在vue中注册这个组件,代码如下: Vue ...
- uni-app、小程序之swiper-item内容过多显示不全的解决方案
原文 最近在项目遇到swiper高度不能自适应,导致swiper-item 里面的内容过多时只能显示一部分,最终解决方案: <swiper> <swiper-item> < ...
- 微软开源Kubernetes服务网格项目Open Service Mesh
尽管微服务环境提供可移植性,允许更快更频繁的部署周期,甚至还能让组织创建关注于特定领域的团队,但这也伴随着对于流量管理.安全以及可观测性等需求的增长.在整个生态系统中,针对这些需求的服务网格模式的实现 ...
- Lucene8.5.x全文检索工具
本文的资源展示: hotword:是热词的文本,比如不是词语的中文,但是是什么人名或者公司名称的词语,需要分词成一个词语的将需要的加入hotword.dic stopword:无意义的词放入的词典,或 ...
- Keil MDK STM32系列(八) STM32F4基于HAL的PWM和定时器输出音频
Keil MDK STM32系列 Keil MDK STM32系列(一) 基于标准外设库SPL的STM32F103开发 Keil MDK STM32系列(二) 基于标准外设库SPL的STM32F401 ...
- 《剑指offer》面试题46. 把数字翻译成字符串
问题描述 给定一个数字,我们按照如下规则把它翻译为字符串:0 翻译成 "a" ,1 翻译成 "b",--,11 翻译成 "l",--,25 ...
- 博客新手:图片URL的生成
作为一名博客小白,本人是在美化自己的博客时,发现自定义背景等操作需要提供图片的URL,而不是直接上传图片.那么什么是URL呢?我们又该如何获取它呢? 什么是URL 根据维基百科:统一资源定位符(英语: ...