GeoMesa-单机搭建
系统安装
CentOS部署
- 新建虚拟电脑
- 类型:Linux
- 版本:Red Hat(64-bit)
- 创建虚拟硬盘
- [x] 动态分配(磁盘占用较小)
- [ ] 固定大小(使用起来较快)
- 安装设置(设置root用户和个人用户)
- 本地化:日期和时间:亚洲/上海;键盘:汉语;语言支持:简体中文
- 软件:安装源:本地介质;软件选择:GNOME桌面
- 系统:安装位置:自动分区;KDUMP:已启用;网络和主机名:已连接
- 重启系统
- 安装增强功能(鼠标无缝平移,粘贴复制文本)
数据源
SSH无密码登录
- CentOS 默认已安装了 SSH client、SSHserver,打开终端执行如下命令进行检验, 如果返回的结果包含了 SSH client 跟 SSH server,则不需要再安装
1rpm -qa | grep ssh
若需要安装,则可以通过 yum 进行安装:
|
|
- 测试一下 SSH 是否可用:
1ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes。然后按提示输入密码 123456,这样就登陆到本机了。
- 但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。首先输入exit退出刚才的ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
12345exit # 退出刚才的 ssh localhostcd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhostssh-keygen -t rsa # 会有提示,都按回车就可以cat id_rsa.pub >> authorized_keys # 加入授权chmod 600 ./authorized_keys # 修改文件权限
~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆。
安装JDK
- 查看已经安装的JDK
123rpm -qa|grep java #命令来查询出系统自带的jdksudo yum -y remove java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64#卸载命令
卸载完成之后Java命令不被识别。
- 配置JDK
1234vim /etc/profileexport JAVA_HOME=/usr/local/station/jdkexport PATH=$PATH:$JAVA_HOME/binsource /etc/profile # 使变量设置生效
gedit编辑器 插入:i;保存:w ;保存并退出:wq;
- 检验环境变量是否设置正确
1234echo $JAVA_HOME # 检验变量值java –versionjavac$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
注:需要重启系统配置变量永久生效
安装Hadoop(伪分布)
- 下载地址
- 解压到相应的目录下,并检查版本。
将 Hadoop 安装目录加入 PATH 变量中。
1234vim ~/.bashrcexport HADOOP_HOME=/usr/local/station/hadoopexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binsource ~/.bashrc #使配置生效Hadoop伪分布式配置
修改配置文件hadoop-env.sh脚本
1export JAVA_HOME=/usr/local/station/jdk修改配置文件 core-site.xml
123456789<property><name>hadoop.tmp.dir</name><value>file:/usr/local/station/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>修改配置文件 hdfs-site.xml
123456789101112<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/station/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/station/hadoop/tmp/dfs/data</value></property>配置完成后,执行 NameNode 的格式化
12cd /usr/local/station/hadoop #进入hadoop目录./bin/hdfs namenode -format #NameNode格式化
NameNode 格式化之后要以下英文在图中看到,即成功。
|
|
|
|
Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息
- 启动YARN
修改配置文件 mapred-site.xml(重命名)
|
|
修改配置文件 yarn-site.xml
|
|
启动 YARN脚本:
|
|
http://localhost:8088/cluster 查看历史服务器信息
安装Accumulo
- Accumulo提供了具有各种内存大小的服务器的示例配置,分别为512 MB,1 GB,2 GB和3 GB。本文采取3Gb 的配置(路径:/usr/local/station/db/accumulo/conf/examples/3GB),用户可以根据服务器配置来选择不同的Accumulo配置文件。 拷贝3GB对应的配置文件到conf目录
编辑accumulo-env.sh文件
123export ZOOKEEPER_HOME=/usr/local/station/zkexport HADOOP_HOME=/usr/local/station/hadoopexport ACCUMULO_MONITOR_BIND_ALL="true" #打开监控界面配置accumulo-site.xml
12341. instance.volumes属性:hdfs://localhost:9000 /accumulo2. trace.token.property.password属性:123456初始化Accumulo
123456789前提:hadoop和zookeeper已经开启hadoop fs -mkdir /accumulo #新建hdfs目录cd /usr/local/station/db/accumulo #切换/bin/accumulo init #初始化设置Instance:实例名:geomesa密码:123456登录:accumulo shell -u rootAccumulo命令
123cd /usr/local/station/db/accumulo./bin/start-all.sh #启动./bin/stop-all.sh #关闭
web界面:http://localhost:50095
安装Zookeeper
- 介绍
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
下载地址,并解压到相应路径。
1234sudo tar -zxf /usr/local/station/zookeeper-3.4.10.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/staton/sudo mv ./ zookeeper-3.4.10/ ./zookeeper # 将文件夹名改为hadoopsudo chown -R geomesa:geomesa ./zookeeper # 修改文件权限conf目录,zoo_sample.cfg为样例配置文件,修改为zoo.cfg
配置环境变量
1234vim /etc/profileexport ZK_HOME=/usr/local/station/zkexport PATH=$PATH:$ZK_HOME/binsource /etc/profile #修改生效测试是否成功
123sh zkServer.sh start #启动sh zkServer.sh status #状态sh zkServer.sh stop #停止
安装HBase(伪分布)
修改conf/hbase-env.sh
12export JAVA_HOME=/usr/local/station/jdk #java路径export HBASE_MANAGES_ZK=false #不使用自带的zk编辑hbase-site.xml
12345678910111213<property><name>hbase.rootdir</name><value>file:///usr/local/station/db/hbase</value># hdfs://localhost:9000/hbase</property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/usr/local/station/db/hbase/zk_data</value></property>配置hbase环境变量
1234vim ~/.bashrcexport HBASE_HOME=/usr/local/station/db/hbaseexport PATH=$PATH:$HBASE_HOME/binsource ~/.bashrchbase命令
1234start-hbase.sh #启动stop-hbase.sh #停止hbase shell #habse命令行模式hbase hbck #hbase查看原因(修复)jps
123QuorumPeerMain # zkHRegionServer # hbaseHMaster # hbase
HBase网址:http://localhost:16010
安装Cassandra
- 解压到相应目录/user/local/station/db/cassandra
修改配置文件cassandra-env.sh脚本
1export JAVA_HOME=/usr/local/station/jdk相关命令(jdk环境已配置完成)
1234cd /usr/local/station/db/cassandra./bin/cassandra –f –R #显示在前台运行 并使用roor用户权限bin/cqlsh #打开交互客户端localhost:9042 #IP:端口
|
|
查看进程,当命令敲出后出现5012类似进程时,则cassandra启动完毕
大专栏 GeoMesa-单机搭建f="#安装Kafka" class="headerlink" title="安装Kafka">安装Kafka
修改配置
123456vim config/server.properties#修改host.name=你的iplisteners=PLAINTEXT://你的ip:9092advertised.listeners=PLAINTEXT://你的ip:9092zookeeper.connect=你的ip:2181设置环境变量
1234vim ~/.bahsrcexport HBASE_HOME=/usr/local/station/db/hbaseexport PATH=$PATH:$HBASE_HOME/binsource ~/.bashrc启动zookeeper和kafka
1234Sh zkServer.sh start #启动zkkafka-server-start.sh /usr/local/station/db/kafka/config/server.properties & #启动kafka查看jps:kafka创建测试主题topic并测试(生产者发送消息,消费者实时接收消息)
1234kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ex #创建一个ex的主题kafka-console-producer.sh --broker-list localhost:9092 --topic ex --producer.config /usr/local/station/db/kafka/config/producer.properties #新生产者kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic ex --new-consumer --from-beginning --consumer.config /usr/local/station/db/kafka/config/consumer.properties #新消费者kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group #查看消费进度
安装spark(分析使用)
- slaves:localhost(既是master还是worker)
添加到spark-env.sh(重命名)
1export SPARK_DIST_CLASSPATH=$(/usr/local/workstation/hadoop/bin/hadoop classpath)配置环境变量
1234vim ~/.bashrcexport SPARK_HOME=/usr/local/workstation/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinsource ~/.bashrc命令
1234567start-master #master节点stop-masterstart-slaves #worker节点stop-slaves修改web端口:修改start-master.sh中的端口SPARK_MASTER_WEBUI_PORT=8090
安装livy
- 官网地址
- 修改配置
1234567891011121314- livy-env.shexport SPARK_HOME=/usr/local/workstation/sparkexport HADOOP_CONF_DIR=/usr/local/workstation/hadoop/etc/hadoop- livy.conflivy.server.host = masterlivy.server.port = 8998livy.spark.master = yarnlivy.spark.deploy-mode =clusterlivy.ui.enabled = truelivy.server.access-control.enabled = truelivy.server.access-control.allowed-users = *livy.server.access-control.modify-users = *livy.server.access-control.view-users = *
GeoMesa-Accumulo搭建
Accumulo中环境配置
添加到geomesa-env.sh脚本中
123export HADOOP_HOME=/usr/local/station/hadoopexport ZOOKEEPER_HOME=/usr/local/station/zkexport ACCUMULO_HOME=/usr/local/station/db/accumulo部署Geomesa-Accumulo分布式运行时jar包放入到Accumulo的lib/ext下
1/usr/local/station/dbegine/geomesa-accumulo/dist/accumulo/geomesa-accumulo-distributed-runtime_2.11-2.0.0.jargeomesa-accumulo/bin下的setup-namespace.sh脚本设置用户名密码和namespace
123./setup-namespace.sh -u root -p 123456 -n myNameSpace用户名:root密码:123456由于授权的限制,支持shapefile和raster的相关文件需要单独安装
12./bin/install-jai.sh./bin/install-jline.sh配置geomesa-accumlo环境变量(脚本导入数据使用)
12345geomesa-accumulo configurevim ~/.bashrcexport GEOMESA_ACCUMULO_HOME=/usr/local/station/dbegine/geomesa-accumuloexport PATH=${GEOMESA_ACCUMULO_HOME}/bin:$PATHsource ~/.bashrc
GeoServer中环境配置
解压缩到GeoServer的 WEB-INF/lib目录中。
1/usr/local/station/dbengine/geomesa-accumulo/dist/gs-plugins/geomesa-accumulo-gs-plugin_2.11-1.3.1-install.tar.gz安装相应的hadoop和accumulo的jar包到GeoServer的WEB-INF/lib目录中。
12cd /usr/local/station/dbengine/geomesa-accumlo./bin/install-hadoop-accumulo.sh /usr/local/station/tomcat/webapps/geoserver/WEB-INF/lib/
GeoMesa-HBase搭建
HBase中环境配置
- 下载地址
添加到geomesa-env.sh脚本
12export HADOOP_HOME=/usr/local/station/hadoopexport HBASE_HOME=/usr/local/station/db/hbase部署GeoMesa-HBase分布式运行时jar包放入hbase的lib文件夹中
1/usr/local/station/db/hbase/dist/hbase/geomesa-hbase-distributed-runtime_2.11-1.3.3.jar由于许可限制,必须单独安装形状文件支持的jar包。
12bin/install-jai.shbin/install-jline.sh配置geomesa-hbase环境变量(脚本导入数据使用)
12345geomesa-habse configurevim ~/.bashrcexport GEOMESA_HBASE_HOME=/usr/local/station/dbegine/geomesa-hbaseexport PATH=${GEOMESA_HBASE_HOME}/bin:$PATHsource ~/.bashrc
GeoServer中环境配置
解压缩到GeoServer的 WEB-INF/lib目录中。
1$GEOMESA_HBASE_HOME/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-$VERSION-install.tar.gz安装相应的hadoop和hbase的jar包到GeoServer的WEB-INF/lib目录中。
12cd /usr/local/station/dbegine/geomesa-hbase./bin/install-hadoop.sh /usr/local/station/tomcat/webapps/geoserver/WEB-INF/lib/
GeoMesa-Cassandra搭建
Cassandra中环境配置
- 进入cqlsh控制台:
这将创建一个名为“mykeyspace”的关键空间。这是Cassandra中的顶级名称空间,它将为GeoMesa提供一个放置其所有数据的地方,包括空间特征和相关元数据的数据。
|
|
在conf/geomesa-env.sh设置环境变量路径
1export CASSANDRA_HOME=/usr/local/station/db/cassandra手动将Cassandra JAR包安装到lib文件夹
123cd /usr/local/station/dbegine/geomesa-cassandra./bin/install-cassandra-jars.sh lib./bin/install-tools-jars.sh lib由于许可限制,必须单独安装形状文件支持的依赖jar包
12./bin/install-jai.sh./bin/install-jline.sh配置geomesa-cassandra环境变量(geomesa-cassandra configure)
|
|
GeoSever中环境配置
解压到tomcat/webapps/geoserver/WEB-IINF/lib/中。
1dist/gs-plugins/geomesa-cassandra-gs-plugin_2.11-$VERSION-install.tar.gz安装相应的cassandra的jar包到到GeoServer的WEB-INF/lib目录中。
12cd /usr/local/station/dbegine/geomesa-cassandra./bin/install-cassandra-jars.sh /usr/local/station/tomcat/webapps/geoserver/WEB-INF/lib/
GeoMesa-Kafka搭建
Kafka中环境配置
- 在conf/geomesa-env.sh设置环境变量路径
|
|
install-kafka.sh脚本将所需的JAR下载到lib目录中
12cd /usr/local/station/dbegine/geomesa-kafka./bin/install-kafka.sh配置geomesa-kafka环境变量(geomesa-kafka configure)
1234vim ~/.bashrcexport GEOMESA_KAKFA_HOME=/usr/local/station/dbegine/geomesa-kafkaexport PATH=${GEOMESA_KAKFA_HOME}/bin:$PATHsource ~/.bashrc
GeoServer中环境配置
1.解压到tomcat/webapps/geoserver/WEB-IINF/lib/中。
|
|
- 为Kafka和Zookeeper添加额外的JAR,确保其运行。
12Cd /usr/local/station/dbegine/geomesa-kafka./bin/install-kafka.sh /usr/local/station/tomcat/webapps/geoserver/WEB-INF/lib/
GeoMesa-FS搭建
FS中环境配置
- 直接解压安装即可
配置hadoop环境变量到bashrc文件中即可
12345#插入数据到Hadoop文件系统中(parquet文件格式)geomesa-fs ingest -p file:///usr/local/workstation/dstest -e parquet -s example-csv -C example-csv --partition-scheme daily,z2-2bit example.csv#插入数据到本地文件系统中(parquet文件格式)geomesa-fs ingest -p file:///usr/local/workstation/dstest -e parquet -s example-csv -C example-csv --partition-scheme daily,z2-2bit example.csv其他操作(本地操作系统)
12345678#导出数据geomesa-fs export -p file:///usr/local/workstation/dstest -f example-csv#查看文件系统的结构find /usr/local/workstation/dstest#浏览元数据信息cat /usr/local/workstation/dstest/example-csv/metadata.json
GeoServer中环境配置
1.解压到tomcat/webapps/geoserver/WEB-IINF/lib/中。
|
|
为FS添加额外的hadoop JAR包,确保其运行。
12Cd /usr/local/station/dbegine/geomesa-fs./bin/install-hadoop.sh /usr/local/station/tomcat/webapps/geoserver/WEB-INF/lib/将hadoop中的文件复制到geoserver中。
1cp /usr/local/workstaion/hadoop/etc/hadoop/core-site.xml /usr/local/station/tomcat/webapps/geoserver/WEB-INF/classes
GeoMesa-单机搭建的更多相关文章
- GeoMesa 环境搭建
GeoMesa 环境搭建 版本 虚拟机安装 os centos7 Centos安装 CentOS安装Jdk并配置环境变量 hadoop.hbase环境部署 geomesa_hbase部署 geoser ...
- 单机搭建Android开发环境(二)
前文介绍了如何优化SSD和内存,以发挥开发主机的最佳性能,同时提到在SSD上创建虚拟机.为什么不装双系统呢?双系统性能应该会更好!采用Windows+虚拟机的方式,主要是考虑到安卓开发和日常办公两方面 ...
- 单机搭建Android开发环境(四)
单机搭建安卓开发环境,前三篇主要是磨刀霍霍,这一篇将重点介绍JDK.REPO.GIT及编译工具的安装,下载项目代码并编译.特别说明,以下操作基于64位12.04 Server版Ubuntu.若采用其他 ...
- 单机搭建Android开发环境(三)
单机搭建Android开发环境,第一篇重点介绍了如何优化Windows 7系统,以提高开发主机的性能并延长SSD的使用寿命.第二篇重点介绍了基于VMWare安装64位版的Ubuntu 12.04,并安 ...
- Kafka 概念、单机搭建与使用
目录 Kafka 概念.单机搭建与使用 基本概念介绍 Topic Producer Consumer Kafka单机配置,一个Broker 环境: 配置zookeeper 配置Kafka 使用Kafk ...
- 大数据统计分析平台之一、Kafka单机搭建
1.zookeeper搭建 Kafka集群依赖zookeeper,需要提前搭建好zookeeper 单机模式(7步)(集群模式进阶请移步:http://blog.51cto.com/nileader/ ...
- RabbitMQ (十三) 集群+单机搭建(window)
拜读了网上很多前辈的文章,对RabbitMQ的集群有了一点点认识. 好多文章都说到,RabbitMQ的集群分为普通集群和镜像集群,有的还加了两种:单机集群和主从集群. 我看来看去,看了半天,怎么感觉, ...
- Hadoop单机搭建
单机Hadoop搭建 1.下载hadoop-2.7.3.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/h ...
- 单机搭建Android开发环境(五)
前文介绍了Android系统开发环境的搭建,本文将简单介绍Android应用开发环境的搭建. 基于Android Studio搭建应用开发环境,相比使用Eclipse简单得多.Android Stud ...
- 单机搭建Android开发环境(一)
老话,工欲善其事必先利其器.为了学习安卓系统开发,我下了血本,更换了电脑.俗语,磨刀不误砍柴工,好钢用在刀刃上,为了发挥新本的最大潜能,我花费了很长时间去做配置和优化,都感觉有点偏执了.不过,从到目前 ...
随机推荐
- 新年在家学java之基础篇-高级类的特性
继承 extends 子类的共性代码都是继承自父类的,每个子类只要写自己特有的代码 class 子类 extends 父类 继承提高了代码的复用性,提供了多态的前提,但是不要为了某个功能去继承 子类不 ...
- QLIKVIEW-SALESORDER\DELIVERYNOTICE\OUTSTOCK\INVOICE
//销售订单SALESORDER_TMP:NoConcatenateLOAD T_SAL_ORDER.LE_ID, [T_SAL_ORDER.LCY CODE], T_SAL_ORDER.SYSTEM ...
- 一篇文章带你了解axios网络交互-Vue
来源:滁州SEO 1 **什么是axios呢?**了解,并去使用它,对于axios发送请求的两种方式有何了解,以及涉及axios跨域问题如何解决. 对于axios网络交互,去使用axios的同时,首先 ...
- poj-3659 Cell Phone Network(最小支配集+贪心)
http://poj.org/problem?id=3659 Description Farmer John has decided to give each of his cows a cell p ...
- 现有.NET 开源框架浅析
自己一直在关注框架,也喜欢捣鼓一些框架,最近我们自己一直是在用OSGI.NET 做插件式模块开发,感兴趣的可以到 http://www.iopenworks.com/ 官网了解,在进行OSGI.N ...
- 吴裕雄--天生自然C语言开发:排序算法
#include <stdio.h> void bubble_sort(int arr[], int len) { int i, j, temp; ; i < len - ; i++ ...
- Codeforces Round#615 Div.3 解题报告
前置扯淡 真是神了,我半个小时切前三题(虽然还是很菜) 然后就开始看\(D\),不会: 接着看\(E\),\(dp\)看了半天,交了三次还不行 然后看\(F\):一眼\(LCA\)瞎搞,然后\(15m ...
- linux打开和关闭端口
查看哪些端口被打开 netstat -anp 关闭端口号:iptables -A INPUT -p tcp -drop 8080 -j DROP 打开端口号:iptables -A INPUT -p ...
- 在SpringBoot中使用Junit测试
一:加入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactI ...
- ios 设置UITextField的placeholder大小颜色
需求:产品嫌弃placeholder的字体太大,颜色太明显,要求跟正常输入时的字体及颜色不同 方法:设置placeholder的大小和颜色,实际上是设置placeholder的label的大小和颜色, ...