Impala 安装笔记3一impala安装
安装impala之前,确认满足Cloudera Impala Requirements中要求的所有条件:
- Supported Operating Systems
- Supported CDH Versions
- Hive Metastore and Related Configuration
- Java Dependencies
- Packages and Repositories
- Networking Configuration Requirements
- Hardware Requirements
- User Account Requirements
Impala官方安装wiki地址:
- 确保你的包管理工具中加了impala需要的库(在该链接中描述http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_prereqs.html#prereqs)
- 安装impala各组件的命令:
- $ sudo yum install impala # Binaries for daemons
- $ sudo yum install impala-server # Service start/stop script
- $ sudo yum install impala-state-store # Service start/stop script
- $ sudo yum install impala-catalog # Service start/stop script
3. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf如果没有此文件夹就创建。
4. 安装impala-shell
- $ sudo yum install impala-shell
5. 完成impala要求的配 置。
Post-Installation Configuration for Impala
强制Mandatory配置(Short-Circuit Reads)
开启Block Location Tracking可以允许impala能够从文件系统中直接读取本地数据,而不需要像平常一样与datanode通信,从而可以提升查询的速度。
依据你所安装的CDH的版本不一样,配置也是不一样的,此处我仅整理我对应的CDH4.3正确的配置,实际安装中要采用对应版本的配置。
- 在所有的impala的节点上,修改hdfs-site.xml文件,添加下列属性:
- <property>
- <name>dfs.client.read.shortcircuit</name>
- <value>true</value>
- </property>
- <property>
- <name>dfs.domain.socket.path</name>
- <value>/var/run/hadoop-hdfs/dn._PORT</value>
- </property>
- <property>
- <name>dfs.client.file-block-storage-locations.timeout</name>
- <value>3000</value>
- </property>
2. if /var/run/hadoop-hdfs是组可写的,那么确保他的组是root。
3. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf。
4. 上述配置结束后,重启所有datanodes。
强制Mandatory配置(Block Location Tracking)
开启Block Location metadata允许impala知道数据块在哪块磁盘上,这样可以更好的利用下面的磁盘。(如果不开启这个设置,impala默认是不会启动)。
- 对于每一个Datanode,添加下列属性到hdfs-site.xml 文件:
- <property>
- <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
- <value>true</value>
- </property>
2. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf。
3. 上述配置结束后,重启所有datanodes。
配置impala 启动的一些操作
Impala服务启动的时候会加载/etc/default/impala文件中的配置,这里包含了很多impala要用到的资源的信息。例如,典型的classpath变量,你还需要加入或者修改一些信息,比如statstore的地址信息。
- IMPALA_STATE_STORE_HOST=127.0.0.1
- IMPALA_STATE_STORE_PORT=24000
- IMPALA_BACKEND_PORT=22000
- IMPALA_LOG_DIR=/var/log/impala
- IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} "
- IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE
- _STORE_PORT}"
- IMPALA_SERVER_ARGS=" \
- -log_dir=${IMPALA_LOG_DIR} \
- -state_store_port=${IMPALA_STATE_STORE_PORT} \
- -use_statestore \
- -state_store_host=${IMPALA_STATE_STORE_HOST} \
- -be_port=${IMPALA_BACKEND_PORT}"
- ENABLE_CORE_DUMPS=false
- LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib
- MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
- IMPALA_BIN=/usr/lib/impala/sbin
- IMPALA_HOME=/usr/lib/impala
- HIVE_HOME=/home/godp/hive-0.9.0-cdh4.1.0
- # HBASE_HOME=/usr/lib/hbase
- IMPALA_CONF_DIR=/etc/impala/conf
- HADOOP_CONF_DIR=/etc/impala/conf
- HIVE_CONF_DIR=/etc/impala/conf
- # HBASE_CONF_DIR=/etc/impala/conf
修改完这些信息之后,重启所有impala相关的服务。
- $ sudo service impala-server restart
- $ sudo service impala-state-store restart
- $ sudo service impala-catalog restart
至此,安装结束
Impala 安装笔记3一impala安装的更多相关文章
- ubuntu 18.04下greenplum安装笔记(二)安装Greenplum的失败的尝试
之前对Linux环境进行了搭建,现在开始进行Greenplum的正式安装. 下载 进Greenplum的官网:https://greenplum.org/download/ 可以发现,对于ubuntu ...
- CollabNet Subversion Edge 安装笔记(1):基本安装设定篇
转载于:http://blog.miniasp.com/post/2011/12/30/CollabNet-Subversion-Edge-Installation-Notes-Part-1-Basi ...
- Impala 安装笔记1一Cloudera CDH4.3.0安装
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库 ...
- 入门大数据---安装ClouderaManager,CDH和Impala,Hue,oozie等服务
1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, ...
- 【原创】大数据基础之Impala(1)简介、安装、使用
impala2.12 官方:http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic datab ...
- Impala的安装(含使用CM安装 和 手动安装)(图文详解)
Impala有两种安装方式: 1)使用CM安装Impala 2)手动安装Impala 注意:Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 6.5系统中安装. 基 ...
- Impala入门笔记
From:http://tech.uc.cn/?p=817 问题背景: 初步了解Impala的应用 重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍 写作目的: 了解Impala ...
- CDH6.1.0离线安装——笔记
一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop ...
- MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记
MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记 说明 以root账户登录Linux操作系统,注意:本文中的所有命令行前面的 #> 表示命令行提示符 ...
随机推荐
- github每次push提交都要输入账号密码
问题产生的原因是在克隆的时候使用的是https的方式或者用一些特殊的指令来克隆的github项目源,如 golang里的go get github.com/...... 没次提交push的时候都会提示 ...
- PostgreSQL 二进制安装
一.安装前准备工作 新建用户 sudo groupadd sql sudo useradd -g sql postgressudo passwd postgres 创建数据及日志目录,并做相应授权 s ...
- ML | k-means
what's xxx k-means clustering aims to partition n observations into k clusters in which each observa ...
- Socks5代理Socks5 Proxy
Socks5代理Socks5 Proxy Socks5代理是基于Socks协议的一种代理模式.其中,5表示该协议的版本号.它可以让局域网的计算机通过socks5代理服务器,访问外网的内容.由于它工 ...
- 官方Java编码规范
先由Sun制定,之后Sun把Java卖给了Oracle,最后就成了Oracle制定的了.但是版本比较旧了,停留在1999年. 相比Google的编码规范,罪名写的却别就是Sun采用的是4个空格进行缩进 ...
- spring事务再次理解
2.2.3 只读 事务的第三个特性是它是否为只读事务.如果事务只对后端的数据库进行该操作,数据库可以利用事务的只读特性来进行一些特定的优化.通过将事务设置为只读,你就可以给数据库一个机会,让它应用它认 ...
- 【css】设置div位于浏览器的最底层,离用户最远
有时候切换发现某块div一直悬浮在最上层,怎么设置div位于浏览器的最底层.离用户最远? <style> .in{ z-index: -1; } </style> 然后引用in ...
- nopCommerce从无到有01-初探nopCommerce
nopCommerce框架的基本结构: 该结构可以参考DDD(领域驱动设计)模式. (注:上图源自他人文章,具体出处不祥,在此引用,感谢原创) nopcommerce官方地址:http://www.n ...
- Leet Code OJ 338. Counting Bits [Difficulty: Medium]
题目: Given a non negative integer number num. For every numbers i in the range 0 ≤ i ≤ num calculate ...
- hdu5379||2015多校联合第7场1011 树形统计
pid=5379">http://acm.hdu.edu.cn/showproblem.php? pid=5379 Problem Description Little sun is ...