Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录
- 下载并解压缩
- 配置 .bash_profile :
- export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6.0
- export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- 配置 HDFS :
- etc/hadoop/core-site.xml:<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>etc/hadoop/hdfs-site.xml:<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>2. 配置 ssh 自动登录,以方便 namenode 管理 datanode 以及节点间的数据传输
- Mac: setting->share-> enable remote login, enable file share
- Others
Setup passphraseless ssh
Now check that you can ssh to the localhost without a passphrase:$ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the following commands:$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys
- 启动 HDFS:
- bin/hdfs namenode -format
- Start-dfs.sh
- 测试 HDFS 的 web UI 管理页面:
- 50070端口管理分布式 hdfs文件系统
- 配置 YARN:
- Configure parameters as follows:etc/hadoop/mapred-site.xml:<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>etc/hadoop/yarn-site.xml:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
- 启动 YARN:
- sbin/start-yarn.sh
- 测试 YARN 的 web UI 管理页面: localhost:8088/
- 无法启动 namenode , 但无出错提示, 在启动 hive 时出现
Connecting to ResourceManager at /0.0.0.0:8032
java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
- [CORRECT HDFS-SITE.XML]
- 运行 Hadoop namenode -format 格式化目标目录
- Start-dfs.sh 启动 hdfs
- 下载
- 配置.bash_profile文件 :
- Export HIVE_HOME=xxx
- Export PATH=$HIVE_HOME/bin:$PATH
- 复制 conf 目录下的 hive-default.xml-template.xml 重命名为: hive-site.xml
- 修改 hive-site.xml, 配置好 schematool -dbType mysql -initSchema 初始化元数据工具所对应的 metastore 配置
- 修改 hive-site.xml 表中的 mysql 相关driver连接配置:
- 如 driverName mysql user password 等, 参考: url
- 下载 mysql-connector.jar 放入 lib 目录下
- 启动,并修改 mysql 服务
- 运行: schematool -dbType mysql -initSchema
- 修改 hive-site.xml 中的相关配置: http://stackoverflow.com/questions/27099898/java-net-urisyntaxexception-when-starting-hive
- <name>hive.exec.scratchdir</name><value>/tmp/hive-${user.name}</value><name>hive.exec.local.scratchdir</name><value>/tmp/${user.name}</value><name>hive.downloaded.resources.dir</name><value>/tmp/${user.name}_resources</value><name>hive.scratch.dir.permission</name><value>733</value>
- 启动 hive 测试
- 下载
- 增加 export spark_classpath=mysql.connector.xxx.jar
- 复制 hive 的配置文件 hive-site.xml 放入到 spark 的目录下
- 启动 spark-shell 测试发现: aused by: MetaException(message:Hive Schema version 1.2.0 does not match metastore's schema version 2.1.0 Metastore is not upgraded or corrupt)
- 解决方法: 修改配置: https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_releasenotes_ambari_2.2.2.0/content/ambari_relnotes-2.2.2.0-known-issues.html
- 运行 spark-shell 成功.
- 下载
- cp 到 ~/Application 目录
- 配置 hbase-env.sh 中的 Java Home : export JAVA_HOME=/Users/fan/.jenv/versions/1.8
- 配置hbase-site.xml 文件:
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
- <property>
- <name>>hbase.rootdir</name>
- <value>hdfs://localhost:9000/user/hbase</value>
- </property>
- 为 hbase 创建 hdfs 文件夹: hadoop fs -mkdir /user/hbase ;
- 配置环境变量 :
- export HBASE_HOME=/Users/fan/Applications/hbase-1.2.4
- export PATH=$HBASE_HOME/bin:$PATH
- 启动 hbase:
- zkServer.sh start
- Start-hbase.sh
- hbase-daemon.sh start thrift (方便 python 连接)
- Hbase shell (cli环境)
- 查看 web ui : http://localhost:16010/master-status
- Hbase cli : hbase shell
- 配置: cp conf/zoo_sample.cfg conf/zoo.cfg
- 启动
- zkServer.sh start
- 停止:
- zkServer.sh stop
- 命令行管理:
- zkCli.sh
- 下载
- 复制到 Applications 目录下
- 安装依赖的 zookeeper 并配置好。
- 设置环境变量:
- KAFKA_HOME=
- 启动kafka, 并测试 producer 和 consumer
- 启动Zookeeper服务:Kafka用到了Zookeeper,所有首先启动Zookper,下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号,这样就可以启动后离开控制台。
- > bin/zookeeper-server-start.sh config/zookeeper.properties &
- [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
- ...
2. 现在启动Kafka:- > bin/kafka-server-start.sh config/server.properties
- [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
- [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
- .
3: 创建 topic创建一个叫做“test”的topic,它只有一个分区,一个副本。- > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
可以通过list命令查看创建的topic:- > bin/kafka-topics.sh --list --zookeeper localhost:2181
- test
除了手动创建topic,还可以配置broker让它自动创建topic.4:发送消息.Kafka 使用一个简单的命令行producer,从文件中或者从标准输入中读取消息并发送到服务端。默认的每条命令将发送一条消息。运行producer并在控制台中输一些消息,这些消息将被发送到服务端:- > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
- This is a messageThis is another message
ctrl+c可以退出发送。5: 启动consumerKafka also has a command line consumer that will dump out messages to standard output.Kafka也有一个命令行consumer可以读取消息并输出到标准输出:- > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
- This is a message
- This is another message
你在一个终端中运行consumer命令行,另一个终端中运行producer命令行,就可以在一个终端输入消息,另一个终端读取消息。这两个命令都有自己的可选参数,可以在运行的时候不加任何参数可以看到帮助信息。
Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录的更多相关文章
- mac osx 系统 brew install hadoop 安装指南
mac osx 系统 brew install hadoop 安装指南 brew install hadoop 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹 ...
- Mac OSX系统、Linux、Windows命令行教程
目录 Mac OSX系统.Linux.Windows命令行教程 一.各系统终端的使用方法 二.各系统命令的功能 Mac OSX系统.Linux.Windows命令行教程 用你的终端做一些事情 (com ...
- 国产手机插入mac os 系统中无法被识别的解决方法
一些国产手机插入mac os 系统中无法被识别,在命令行输入 system_profiler SPUSBDataType在, 然后将魅蓝note的vendor id 添加至 ~/.android/ad ...
- 在Mac OSX系统的Docker机上启用Docker远程API功能
在Mac OSX系统的Docker机上启用Docker远程API功能 作者:chszs,未经博主同意不得转载.经许可的转载需注明作者和博客主页:http://blog.csdn.net/chszs D ...
- 绿联Type-C千兆网卡AX88179芯片驱动(苹果Mac OSX系统)CM141丨CM179
绿联Type-C千兆网卡AX88179芯片驱动(苹果Mac OSX系统)CM141丨CM179 下载地址:https://www.lulian.cn/download/6-cn.html AX8817 ...
- Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...
- Spark的安装及配置
title: Spark的安装及配置 summary: 关键词:Hadoop集群环境 Spark scala python ubuntu 安装和配置 date: 2019-5-19 13:56 aut ...
- Django中redis的使用方法(包括安装、配置、启动)
一.安装redis: 1.下载: wget http://download.redis.io/releases/redis-3.2.8.tar.gz 2.解压 tar -zxvf redis-3.2. ...
- FineReport中hadoop,hive数据库连接解决方案
1. 描述 Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具.一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连 ...
随机推荐
- 模块加载——modprobe和insmod的区别(转)
转载地址:https://blog.csdn.net/qianyizhou17/article/details/44135133 linux设备驱动有两种加载方式insmod和modprobe,下面谈 ...
- maven nexus 私服搭建 Linux版
准备工作 已安装jdk 已安装maven 下载Nexus Repository OSS:https://www.sonatype.com/download-oss-sonatype 如果无法下载成功, ...
- 汇编 JMP 详解
汇编 JMP 详解 关键词说明 RVA: 相对虚拟地址(Relative Virtual Address),在内存中相对于PE文件装入地址的偏移位置,是一个相对地址. JMP 的 3 种类型 短跳转( ...
- 洛谷 P1330 封锁阳光大学题解
题目描述 曹是一只爱刷街的老曹,暑假期间,他每天都欢快地在阳光大学的校园里刷街.河蟹看到欢快的曹,感到不爽.河蟹决定封锁阳光大学,不让曹刷街. 阳光大学的校园是一张由N个点构成的无向图,N个点之间由M ...
- Exploit Kit——hacker入侵web,某iframe中将加载RIG EK登录页面,最终下载并执行Monero矿工
RIG Exploit Kit使用PROPagate注入技术传播Monero Miner from:https://www.4hou.com/technology/12310.html 导语:Fire ...
- AtCoder Beginner Contest 146解题报告
题目地址 https://atcoder.jp/contests/abc146/tasks 感觉没有什么有意思的题... 题解 A #include <bits/stdc++.h> usi ...
- 如何将wordpress的the_title()进行大小写处理
有时我们在做wordpress网站时需要将标题的大写字母改成小写字母或小写字母转为大写字母方便调用,那么要如何改造呢?我们知道Wordpress the_title()函数默认回显标题,标准写法是&l ...
- Spring cloud stream【消息分组】
上篇文章我们简单的介绍了stream的使用,发现使用还是蛮方便的,但是在上个案例中,如果有多个消息接收者,那么消息生产者发送的消息会被多个消费者都接收到,这种情况在某些实际场景下是有很大问题的,比 ...
- Spring全家桶相关文章汇总(Spring,SpringBoot,SpringData,SpringCloud)
因为Spring框架包含的组件比较多,写的博客内容也比较多,虽然有分专栏但是依然不方便查找,所以专门用一篇文章来记录相关文章,会不定期更新. 一.Spring 1.基础内容 Spring介绍 Sp ...
- java.lang.IllegalStateException: Service id not legal hostname (leyou_item_service)
. ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ...