安装impala之前,确认满足Cloudera Impala Requirements中要求的所有条件:

  • Supported Operating Systems
  • Supported CDH Versions
  • Hive Metastore and Related Configuration
  • Java Dependencies
  • Packages and Repositories
  • Networking Configuration Requirements
  • Hardware Requirements
  • User Account Requirements

Impala官方安装wiki地址:

http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_install.html

  1. 确保你的包管理工具中加了impala需要的库(在该链接中描述http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_prereqs.html#prereqs
  2. 安装impala各组件的命令:
  1. $ sudo yum install impala # Binaries for daemons
  2. $ sudo yum install impala-server # Service start/stop script
  3. $ sudo yum install impala-state-store # Service start/stop script
  4. $ sudo yum install impala-catalog # Service start/stop script

  3. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf如果没有此文件夹就创建。

  4. 安装impala-shell

  1. $ sudo yum install impala-shell

  5.  完成impala要求的配 置。


Post-Installation Configuration for Impala

强制Mandatory配置(Short-Circuit Reads)

开启Block Location Tracking可以允许impala能够从文件系统中直接读取本地数据,而不需要像平常一样与datanode通信,从而可以提升查询的速度。

依据你所安装的CDH的版本不一样,配置也是不一样的,此处我仅整理我对应的CDH4.3正确的配置,实际安装中要采用对应版本的配置。

  1. 在所有的impala的节点上,修改hdfs-site.xml文件,添加下列属性:
  1. <property>
  2. <name>dfs.client.read.shortcircuit</name>
  3. <value>true</value>
  4. </property>
  5. <property>
  6. <name>dfs.domain.socket.path</name>
  7. <value>/var/run/hadoop-hdfs/dn._PORT</value>
  8. </property>
  9. <property>
  10. <name>dfs.client.file-block-storage-locations.timeout</name>
  11. <value>3000</value>
  12. </property>

  2. if /var/run/hadoop-hdfs是组可写的,那么确保他的组是root

  3. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf。

  4. 上述配置结束后,重启所有datanodes。

强制Mandatory配置(Block Location Tracking)

开启Block Location metadata允许impala知道数据块在哪块磁盘上,这样可以更好的利用下面的磁盘。(如果不开启这个设置,impala默认是不会启动)。

  1. 对于每一个Datanode,添加下列属性到hdfs-site.xml 文件:
  1. <property>
  2. <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
  3. <value>true</value>
  4. </property>

  2. 复制hive-site.xml, core-site.xml, and hdfs-site.xml到impala的配置文件夹中,默认目录在/etc/impala/conf。

  3. 上述配置结束后,重启所有datanodes。

配置impala 启动的一些操作

Impala服务启动的时候会加载/etc/default/impala文件中的配置,这里包含了很多impala要用到的资源的信息。例如,典型的classpath变量,你还需要加入或者修改一些信息,比如statstore的地址信息。

  1. IMPALA_STATE_STORE_HOST=127.0.0.1
  2. IMPALA_STATE_STORE_PORT=24000
  3. IMPALA_BACKEND_PORT=22000
  4. IMPALA_LOG_DIR=/var/log/impala
  5.  
  6. IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} "
  7. IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE
  8. _STORE_PORT}"
  9. IMPALA_SERVER_ARGS=" \
  10. -log_dir=${IMPALA_LOG_DIR} \
  11. -state_store_port=${IMPALA_STATE_STORE_PORT} \
  12. -use_statestore \
  13. -state_store_host=${IMPALA_STATE_STORE_HOST} \
  14. -be_port=${IMPALA_BACKEND_PORT}"
  15.  
  16. ENABLE_CORE_DUMPS=false
  17. LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib
  18. MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
  19. IMPALA_BIN=/usr/lib/impala/sbin
  20. IMPALA_HOME=/usr/lib/impala
  21. HIVE_HOME=/home/godp/hive-0.9.0-cdh4.1.0
  22. # HBASE_HOME=/usr/lib/hbase
  23. IMPALA_CONF_DIR=/etc/impala/conf
  24. HADOOP_CONF_DIR=/etc/impala/conf
  25. HIVE_CONF_DIR=/etc/impala/conf
  26. # HBASE_CONF_DIR=/etc/impala/conf

修改完这些信息之后,重启所有impala相关的服务。

  1. $ sudo service impala-server restart
  2. $ sudo service impala-state-store restart
  3. $ sudo service impala-catalog restart

至此,安装结束

Impala 安装笔记3一impala安装的更多相关文章

  1. ubuntu 18.04下greenplum安装笔记(二)安装Greenplum的失败的尝试

    之前对Linux环境进行了搭建,现在开始进行Greenplum的正式安装. 下载 进Greenplum的官网:https://greenplum.org/download/ 可以发现,对于ubuntu ...

  2. CollabNet Subversion Edge 安装笔记(1):基本安装设定篇

    转载于:http://blog.miniasp.com/post/2011/12/30/CollabNet-Subversion-Edge-Installation-Notes-Part-1-Basi ...

  3. Impala 安装笔记1一Cloudera CDH4.3.0安装

    Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库 ...

  4. 入门大数据---安装ClouderaManager,CDH和Impala,Hue,oozie等服务

    1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, ...

  5. 【原创】大数据基础之Impala(1)简介、安装、使用

    impala2.12 官方:http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic datab ...

  6. Impala的安装(含使用CM安装 和 手动安装)(图文详解)

    Impala有两种安装方式: 1)使用CM安装Impala 2)手动安装Impala 注意:Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 6.5系统中安装. 基 ...

  7. Impala入门笔记

    From:http://tech.uc.cn/?p=817 问题背景: 初步了解Impala的应用 重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍 写作目的: 了解Impala ...

  8. CDH6.1.0离线安装——笔记

    一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop ...

  9. MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记

    MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记 说明 以root账户登录Linux操作系统,注意:本文中的所有命令行前面的 #> 表示命令行提示符 ...

随机推荐

  1. github每次push提交都要输入账号密码

    问题产生的原因是在克隆的时候使用的是https的方式或者用一些特殊的指令来克隆的github项目源,如 golang里的go get github.com/...... 没次提交push的时候都会提示 ...

  2. PostgreSQL 二进制安装

    一.安装前准备工作 新建用户 sudo groupadd sql sudo useradd -g sql postgressudo passwd postgres 创建数据及日志目录,并做相应授权 s ...

  3. ML | k-means

    what's xxx k-means clustering aims to partition n observations into k clusters in which each observa ...

  4. Socks5代理Socks5 Proxy

    Socks5代理Socks5 Proxy   Socks5代理是基于Socks协议的一种代理模式.其中,5表示该协议的版本号.它可以让局域网的计算机通过socks5代理服务器,访问外网的内容.由于它工 ...

  5. 官方Java编码规范

    先由Sun制定,之后Sun把Java卖给了Oracle,最后就成了Oracle制定的了.但是版本比较旧了,停留在1999年. 相比Google的编码规范,罪名写的却别就是Sun采用的是4个空格进行缩进 ...

  6. spring事务再次理解

    2.2.3 只读 事务的第三个特性是它是否为只读事务.如果事务只对后端的数据库进行该操作,数据库可以利用事务的只读特性来进行一些特定的优化.通过将事务设置为只读,你就可以给数据库一个机会,让它应用它认 ...

  7. 【css】设置div位于浏览器的最底层,离用户最远

    有时候切换发现某块div一直悬浮在最上层,怎么设置div位于浏览器的最底层.离用户最远? <style> .in{ z-index: -1; } </style> 然后引用in ...

  8. nopCommerce从无到有01-初探nopCommerce

    nopCommerce框架的基本结构: 该结构可以参考DDD(领域驱动设计)模式. (注:上图源自他人文章,具体出处不祥,在此引用,感谢原创) nopcommerce官方地址:http://www.n ...

  9. Leet Code OJ 338. Counting Bits [Difficulty: Medium]

    题目: Given a non negative integer number num. For every numbers i in the range 0 ≤ i ≤ num calculate ...

  10. hdu5379||2015多校联合第7场1011 树形统计

    pid=5379">http://acm.hdu.edu.cn/showproblem.php? pid=5379 Problem Description Little sun is ...