Presto单机/集群模式安装笔记

一、安装环境

  1. JDK版本要求: 1.9.0_92+

二、安装步骤

  1. 官网下载最新版本

    https://prestodb.io/docs/current/installation/deployment.html

  2. 配置,参考网址

    http://prestodb-china.com/docs/current/installation/deployment.html

    etc/node.properties暂时配置如下:
    node.data-dir=/opt/dtwave/presto/data (新建data目录)

    注意删除etc/config.properties中的task.max-memory=1GB。 否则启动报如下错误:

    启动服务: bin/launcher start

ERROR com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Error: Invalid configuration property node.environment: is malformed (for class io.airlift.node.NodeConfig.environment)

2) Error: Defunct property 'task.max-memory' (class [class com.facebook.presto.execution.TaskManagerConfig]) cannot be configured.

3.查询日志目录

/opt/dtwave/presto/data/var/log

4.浏览器查看

http://ip:8086/

5.下载客户端,下载到 /opt/dtwave/presto/bin目录下

https://prestodb.io/docs/current/installation/cli.html

重命名为 presto-cli

$ mv presto-cli-0.180-executable.jar presto-cli

$ chmod +x presto-cli

添加环境变量 /etc/profile

export PRESTO_HOME=/opt/dtwave/presto

export PATH=$PATH:$PRESTO_HOME/bin

source /etc/profile

6.配置Hive连接器,etc/catalog目录新建 hive.properties, 内容如下:

connector.name=hive-hadoop2
hive.metastore.uri=thrift://master106:9083
hive.config.resources=/opt/dtwave/hadoop/etc/hadoop/core-site.xml,/opt/dtwave/hadoop/etc/hadoop/hdfs-site.xml

7.连接Hive,

presto-cli –server outer_ip:8086 –catalog hive –schema default

presto-cli –server inner_ip:8086 –catalog hive –schema default

或者(不指定数据库)

presto-cli –server ip:8086 –cata 大专栏  Presto单机/集群模式安装笔记log hive

presto> describe hive.dtwave_dev.bas_user_info;
Column | Type | Extra | Comment
--------+---------+-------+---------
id | integer | |
name | varchar | |
age | integer | |
(3 rows) Query 20170707_171515_00005_cxg9d, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:01 [3 rows, 216B] [4 rows/s, 320B/s] presto> select * from hive.dtwave_dev.bas_user_info limit 10;
id | name | age
----+-------+-----
1 | zhang | 23
2 | san | 24
3 | li | 35

=============================

三、集群模式安装:

从第一台安装好的persto机器上scp 文件夹过去

scp -r presto-server-0.180 hadoop@node47:/opt/dtwave/
scp -r presto-server-0.180 hadoop@1node.50:/opt/dtwave/
scp -r presto-server-0.180 hadoop@node172:/opt/dtwave/ scp -r jdk1.8.0_131 hadoop@node47:/opt/dtwave/
scp -r jdk1.8.0_131 hadoop@node50:/opt/dtwave/
scp -r jdk1.8.0_131 hadoop@node172:/opt/dtwave/

创建软链接:

ln -s presto-server-0.180 presto

删除目录/presto/data下所有旧文件。

配置环境变量:

export PRESTO_HOME=/opt/dtwave/presto
export PATH=$PATH:$PRESTO_HOME/bin source /etc/profile

删除旧版本jdk软连接

rm -rf jdk

创建软链接升级JDK:

ln -s jdk1.8.0_131 jdk

3.1 集群模式修改配置部分

把Node172作为coordinator Node45和Node47作为Node。修改配置后重新启动。

3.1.1 coordinator 节点配置。

Node172配置

:vim config.properties

coordinator=true
node-scheduler.include-coordinator=false
task.max-memory=1GB
http-server.http.port=8086
discovery-server.enabled=true
discovery.uri=http://node172:8086

:vim node.properties

node.environment=dtwave
node.id=172
node.data-dir=/opt/dtwave/presto/data

3.1.2 node节点配置:【注意coordinator=false】

Node50

coordinator=false
http-server.http.port=8086
discovery-server.enabled=true
discovery.uri=http://node172:8086
node.environment=dtwave
node.id=50
node.data-dir=/opt/dtwave/presto/data

Node47

coordinator=false
http-server.http.port=8086
discovery-server.enabled=true
discovery.uri=http://node172:8086
node.environment=dtwave
node.id=47
node.data-dir=/opt/dtwave/presto/data

3.2 Cli远程连接测试:(指定Server为172)

presto-cli --server node172:8086 --catalog hive --schema default

Presto单机/集群模式安装笔记的更多相关文章

  1. Spark Tachyon编译部署(含单机和集群模式安装)

    Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...

  2. Hadoop学习笔记(4)hadoop集群模式安装

    具体的过程参见伪分布模式的安装,集群模式的安装和伪分布模式的安装基本一样,只有细微的差别,写在下面: 修改masers和slavers文件: 在hadoop/conf文件夹中的配置文件中有两个文件ma ...

  3. Zookeeper实战之单机集群模式

    前一篇文章介绍了Zookeeper的单机模式的安装及应用,但是Zookeeper是为了解决分布式应用场景的,所以通常都会运行在集群模式下.今天由于手头机器不足,所以今天打算在一台机器上部署三个Zook ...

  4. Kafka集群模式安装(二)

    我们来安装Kafka的集群模式,三台机器: 192.168.131.128 192.168.131.130 192.168.131.131 Kafka集群需要依赖zookeeper,所以需要先安装好z ...

  5. hadoop单机and集群模式安装

    最近在学习hadoop,第一步当然是亲手装一下hadoop了. 下面记录我hadoop安装的过程: 注意: 1,首先明确hadoop的安装是一个非常简单的过程,装hadoop的主要工作都在配置文件上, ...

  6. redis 集群模式安装

    概念 Redis集群提供一种方式自动将数据分布在多个Redis节点上. 每个Redis集群中的节点都需要打开两个TCP连接.一个连接用于正常的给Client提供服务,比如6379,还有一个额外的端口( ...

  7. Spring集成Jedis(不依赖spring-data-redis)(单机/集群模式)(待实践)

    Jedis是Redis的Java客户端,Spring将Jedis连接池作为一个Bean来配置.如果在Spring Data的官网上可以发现,Spring Data Redis已经将Jedis集成进去了 ...

  8. flink集群模式安装配置

    一.手动下载安装包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27 ...

  9. hive集群模式安装

    hadoop3.2.0 完全分布式安装 hive-3.1.1 #解压缩tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/lo ...

随机推荐

  1. 深度学习数据集MNIST ImageNet COCO PASCAL VOC介绍

    参考文档 深度学习数据集汇总介绍 1.  MNIST 深度学习领域的“Hello World!”,入门必备!MNIST是一个手写数字数据库,它有60000个训练样本集和10000个测试样本集,每个样本 ...

  2. Spire.doc jar包实现word文件添加水印demo

    /** * @create: 2020-02-23 21:50 */ import com.spire.doc.*; import com.spire.doc.documents.WatermarkL ...

  3. webservice SOA

    ------------------认证问题

  4. Python图形验证码识别

    一,OCR OCR,即Optical Character Recognition,光学字符识别,通过扫描字符,分析形状,然后将其翻译成电子文本的过程.tesserocr是Python的一个OCR识别库 ...

  5. UI自动化(selenium+python)之浏览器驱动chromedriver安装和配置

    一.安装selenium 前提是已安装Python,python安装 自行百度,这里不概述 安装好python后,cmd打开终端窗口-->pip命令安装 :pip install seleniu ...

  6. vue2.0学习之动画

    下载animate.css <transition name="v"> <div class="content">需要做动画的内容< ...

  7. Vue创建项目及基本语法 一

    目录 目录: 一.创建Vue项目 0.使用环境要求及说明 1.使用命令创建项目 2.启动项目 二.简单指令 1.变量: 2.动态绑定变量值 3.v-once指令 4.v-html解析html 5.v- ...

  8. 吴裕雄--天生自然python学习笔记:python设置文档的格式

    Win32com 组件可为特定范围的内 容设置格式, 较常用的格式有标题格式.对齐 方式格式及字体格式 . 许多格式使用 常量表示 , 所 以 需先导入 constants常量模块 : 设置标题格式的 ...

  9. SQL语句简单应用(未完)

    简介:   SQL(structured query language)结构化查询语句,是一种数据库查询和程序设计语言,用于存取数据以及查询.更新和管理关系型数据库系统,同时也是数据库脚本文件的扩展名 ...

  10. 蓝桥杯-PREV28-地宫取宝

    先自己用dp解了一遍,然后看了官方讲解视频是用记忆化搜索做的.感觉那位老师的方法比较容易实现(效率上和我的差不多的):记录一下三种方法. 动态规划 地宫取宝 1.195KB C++ 正确 100 15 ...