一.简介 hue是一个开源的apache hadoop ui系统,由cloudear desktop演化而来,最后cloudera公司将其贡献给了apache基金会的hadoop社区,它基于python框架django实现的. 通过使用hue,我们可以使用可视化的界面在web浏览器上与hadoop集群交互来分析处理数据,例如操作hdfs上的数据,运行MapReduce Job,查看HBase中的数据 二.安装 (1)下载 http://archive.cloudera.com/cdh5/cdh/…

master  192.168.1.30 saver1  192.168.1.40 saver2  192.168.1.50 首先,时间同步 然后,ssh互通 接下来开始: 1.安装MySQL5.6.44 tar -xvf MySQL-5.6.44-1.el6.x86_64.rpm-bundle.tar rpm -ivh MySQL-server-5.6.44-1.el6.x86_64.rpm rpm -ivh MySQL-devel-5.6.44-1.el6.x86_64.rpm 启动MySQ…

最近一段时间团队接到的项目需要处理的数据量非常大,之前的处理方式难以满足现有需求.最近两周前前后后折腾了不少,在搭建了hadoop+hbase+hive+spark的一个集群后,由于感觉管理和监控太麻烦就把它给干掉了,转而折腾CDH. 安装CDH前需要安装Cloudera Manager,官方文档提供的A,B,C三种安装方式.方式A傻瓜式的安装部署,安装时最好祈祷一次成功,否则卸载时时候非常麻烦.本文主要介绍方式C的部署. 系统环境以及相关软件版本 机器数量:4台PC,名称分别为Master,…

简介: 在我的CDH5.11集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本.经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的.我尝试了安装spark2.0版本和spark2.1版本,均告成功.这里做一下安装spark2.1版本的步骤记录.   首先贴出一些官方的网址,有兴趣的可以去看看: Cloudera发布Apache Spark 2概述(可以在这里面找到安…

环境: hadoop 3.1.1 hive 3.1.0 mysql 8.0.11 安装前准备: 准备好mysql-connector-java-8.0.12.jar驱动包 上传hive的tar包并解压 第一步: 进入hive/conf,拷贝hive-env.sh.template 为hive-env.sh,修改部分为第48,51,54行 # Licensed to the Apache Software Foundation (ASF) under one # or more contribut…

〇.参考地址 1.Linux下编写脚本自动安装hive https://blog.csdn.net/weixin_44911081/article/details/121227024?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163695916016780269859534%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&req…

Oracle_RAC数据库GI的PSU升级(11.2.0.4.0到11.2.0.4.8) 本次演示为升级oracle rac数据库,用GI的psu升级,从11.2.0.4.0升级到11.2.0.4.8. 演示环境: 两个节点:rac1.rac2 GI的PSU升级包(11.2.0.4.8):p21352635_112040_Linux-x86-64.zip 解压缩后的目录:/setup/oracleUp/21523375 grid的$GRID_HOME:/u01/app/11.2.0/grid o…

环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可) hive官网地址:http://hive.apache.org/ 建议:经个人实践,在mac OS X Yosemite 环境下,如果使用apache下载的原始hadoop 2.6.0,不管jdk安装成什么版本(1.6\1.7\1.8都试过),hive 1.2.0启动时,始终报jdk版本不匹配,…

Oracle rdbms 扑灭psu离11.2.0.3.0升级到11.2.0.3.11 参考patch :18522512 停止应用,停止听音乐并DB,将db的oracle_home在下面OPatch将文件夹添加到环境变化PATH.由于接下来要用opatch工具. 报错,说这个opatch工具太旧.要下载新的. The OPatch version being used (11.2.0.1.7) doesn't meet the minimum version required by the p…

当直接执行./mongo 出现这样的提示:couldn't connect to server 127.0.0.1:27017 at src/mongo/shell/mongo.js:145 解决: 执行./mongod --dbpath=/data/mong/db 启动后再执行 ./mongo  则可以了…