hive 启动 要 把mysql的jar包放到/opt/cloudera/parcels/CDH-5.9.3-1.cdh5.9.3.p0.4/lib/hive/lib 下 假设有3个节点就要放3次…

安装文件准备 CDH 下载地址:http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本: 1．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel 2．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel.sha1 3．Manifest.json Cloudera Manager 下载地址:http://archive-primary.cloudera.com/cm5/cm/5/ 下载操…

CDH  遇到的问题 l JAVA_HOME问题 这里, 很明显可以看到, JAVA_HOME 并没有设置成功.using  as ... 感觉完全就是没有设置JAVA_HOME 这个环境变量.可是呢? 我确实是设置了JAVA_HOME 的,而且在linux shell 执行 echo $JAVA_HOME  也是有输出的. 百思不得其解. 后面偶然注意到, 其实是Bigtop 的原因: 由于CDH不会使用系统默认JAVA_HOME环境变量,而是使用Bigtop进行管理,故我们需要安装Bigto…

1. CDH简介 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率. 2.cloudera manager的功能 1) 管理:对集群进行管理,如添加.删除节点等操作. 2) 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控. 3) 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案. 4) 集成:多组…

本篇介绍cdh安装之前需要的一些必要配置,当然这些配置也可以用shell脚本来配置.在安装之前请先配置好yum源,在文中用的统一都是阿里源.在安装的时候,要确保主机的内存是4G以上,要不然会无限重启cm服务 CDH版本:6.2 系统:centos7(el6是代表centos6系统,centos7则用el7表示) 主机3台: master.com.cn 192.168.1.110   2C4G salver1.com.cn 192.168.1.111   1C2G salver2.com.cn 1…

使用Installshield2010提供的组件 大家再开发软件产品的时候经常是基于某些软件和类库的,像我们的项目就用到了.Net Framework3.5,mapinfo,sqlserver 2008 express,installer 4.5.那用户要用我们的产品,必须有以上的环境才可以,这些东西当然不会让用户自己去安装啦,需要我们来为用户部署好,这样用户才会觉得你的软件真的很好用,不会觉得麻烦对吧. 以前用Installshield2008的时候,对.Net Framework不支持3.5…

为有更好的性能,也为更简洁的系统,一些不是常用或不是基本的功能,都将做为可选的安装组件需要用到的就安装 memcache的安装 wget -c http://down.wdlinux.cn/in/memcached_ins.sh chmod 755 memcached_ins.sh ./memcached_ins.sh 服务启动或停止service memcached start|stop|restart或在后台启动也可 mysqli的安装 wget -c http://down.wdlinux…

win7 Visual Studio 2008 安装程序时出现“ 加载安装组件时遇到问题.取消安装.”处理方法 vs2008试用期到期,卸载.重新安装都会出现“ 加载安装组件时遇到问题.取消安装.”无法进入下一步. 1.进入控件面板——程序——程序和功能——“查看已安装的更新”. 2.将vs2008所有更新全部卸载. 3.用“卸载/更新”,就可以卸载vs2008.…

转自:http://blog.sina.com.cn/s/blog_537de4b5010128al.html Windows2008 安装组件服务等内容比原来复杂的多,用鼠标点来点去,既繁琐也缓慢,所幸微软提供了命令行工具ServerManagerCmd.exe 用法: ServerManagerCmd.exe安装和删除角色.角色服务和功能.也显示所有可用的角色.角色服务和功能列表,并显示在此计算机上安装了其中哪些内容.有关可以使用此工具指定的角色.角色服务和功能的详细信息,请参阅服务器管理器…

CDH 安装 市场上免费大数据框架主要有三个版本,原生的 Apache 版本,Cloudera(https://www.cloudera.com/) 公司研发的(Cloudera Distribution Hadoop,简称"CDH")CDH 版本,也是市场上使用最多的,Hortonworks 版本(Hortonworks Data Platform,简称"HDP") cm-cloudera managerment 下载地址:https://www.cloudera…

1. 工具用法 su - oracle $ $(orabasehome)/perl/bin/perl $ORACLE_HOME/rdbms/admin/catcon.pl Usage: catcon [-h, --help] [-u, --usr username [{/password | -w, --usr_pwd_env_var env-var-name}]] [-U, --int_usr username [{/password | -W, --int_usr_pwd_env_var e…

安装组件 ng g componet 组件名…

最近QQ网友提到部署Skype for Business,安装组件时提示安装必备组件失败:RewriteModule,如下图,安装文件名是rewrite_2.0_rtw_x64.msi,尝试手动安装也失败.官方也有类似的组件下载:https://www.microsoft.com/en-us/download/details.aspx?id=7435 ,但手动安装也失败. 搜索国外网站有类似案例,通过修改注册表的方式安装组件:RewriteModule. 修改注册表:定位到HKLM\Softwa…

1.创建windows服务应用 2.右键查看代码 3.写个计时器Timer  using System.Timers; 如上图,按tab键快速操作  会自动创建一个委托 改为下边的方式,打印日志来记录服务运行 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Diagnostics; using System.IO; using…

  CDH安装过程中出现的错误 1.iptables: /sbin/iptables 不存在 我是因为误删将 /sbin/下的文件删除了. 解决方法: yum install iptables 2.com.mysql.jdbc.execptions.jdbc4.CommunicationsException:Communication link failure 连接MySQL 的驱动包找不到. 解决方法:需要将 mysql-connector-java-5.1.31-bin.jar 包 拷贝到/…

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集…

http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组…

spark gateway是用于接收cloudera管理的应用:可以上报数据,不影响正常使用.启动gateway失败,我觉得可能是因为配置问题? 这个问题可能比较深,因为我通过查看日志(cloudera-scm-server的日志)看到了一头雾水的Error: 2017-12-31 03:24:03,675 INFO 621591170@scm-web-10337:com.cloudera.cmf.model.DbCommand: Command null(Start) has complete…

采用CDH Tarbal方式安装Hadoop集群. 1. 环境组件版本 组件名称 组件版本 用途 jdk 1.8 jdk-8u191-linux-x64 oracle jdk mysql mysql-5.7.13-linux-glibc2.5-x86_64 存放cloudera manager配置文件 zookeeper zookeeper-3.4.5-cdh5.12.2 分布式协调服务 hadoop hadoop-2.6.0-cdh5.12.2 包含HDFS和YARN,支撑分布式存储和资源管理…

一.安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台. 采用离线安装模式,虽然在线安装比较简单,但是速度感人,原因大家都懂,这里我使用的各软件版本信息为: 操作系统:CentOS6.8 CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel m…

本次安装采用离线安装的方式,需要提前下载好需要的包. 1. 准备工作 1.1 环境说明 操作系统:RedHat企业级Linux6.5 64-bit Cloudera Manager:5.8.4 CDH:5.8.4 Mysql:5.7.21 1.2 CM下载地址 CM5.8.4下载地址http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.8.4/RPMS/x86_64/ 1.3 CDH下载地址 CDH5.8.4下载地址http://archive…

1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2>  清空主节点CM数据库 进入主节点的Mysql数据库,然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* # rm -rf /opt/dfs/dn/* 4> 在主节点上重新初始化CM数据库 # /opt/cm-5.4.7/share/cmf/sc…

1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-…

日常维护中,多台电脑需要安装Office,可是Office包含的组件又很多(Excel/Word/PPT/OUTLOOK/ACCESS等),有些是不需要的,默认情况下Office都默认安装,一个一个调整过于麻烦,经过查找资料,找到了相应的解决办法. 方法: 用记事本打开安装目录下Microsoft_Office_2010\ProPlus.ww\config.xml文件,修改如下(默认只安装Excel\Word\PPT\Outlook) <Configuration Product="Pro…

Oracle 数据存取组件(ODAC) 库为Borland Delphi,C++ Builder 以及 Kylix提供了一些非可视化的组件.它们用来存取Oracle关系数据库系统.与BDE类似, ODAC 也是一种可供选择的处理数据的方法之一. ODAC 直接使用 Oracle 调用接口 (OCI). OCI 是一种允许应用程序开发人员使用第三方开发语言存取Oracle数据服务器的过程或函数以及控制所有的SQL语句执行状态的应用程序接口(API). OCI 通过一个动态运行库(ORA*.DLL)…

Lookup组件有两个数据源,一个是上流组件的输出,一个是组件lookup的数据源,这个数据源是在Connection选项卡中进行配置.在开发package的过程中,我发现一个异常,当Lookup数据源没有返回数据时,会产生异常.异常信息如下: [Lookup [2]] Error: Row yielded no match during lookup.[Lookup [2]] Error: SSIS Error Code DTS_E_INDUCEDTRANSFORMFAILUREONERROR…

一.安装CDH-manager 1.关闭selinux 修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 重启机器即可   2.修改bin文件的运行权限,运行bin文件后,进入安装cdh-manager的安装界面 如果直接安装,cdh-manager会去archive.cloudera.com下载安装包,这样会很慢,所以最好在内网搭一个下载源,做个host echo '192.168.8.XX archive.cloude…

原文地址 [内容为转载,个人推荐还是用官方的组件,推荐使用 Oracle.DataAccess.dll ] .net(C#)编程过程中,使用到了以下三种免安装的Oracle访问组件,能够不安装Oracle客户端,通过这些组件访问Oracle数据库: 1:Oracle Data Provider for  .NET, Managed Driver: Oracle官方的托管数据库访问组件,单DLL,Oracle.ManagedDataAccess.dll,直接引用即可,用法及相关文档:http://…

由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品.在Hadoop生态系统中,规模最大.知名度最高的公司则是Cloudera.接下来的日子里,小编将带大家一起学习搭建CDH. 今天给大家介绍CDH的安装系统环境准备,系统版本和安装包的下载地址指南,具体的教程如下. 系统版本环境: Centos版本:6.7 CDH版本:5.14.0 JDK:jdk-7u80-linux-x64.rpm mysql-connector-java-5.1.46…

前言 其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了. 具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html, 下面就是我根据这个文档的集成过程. kafka相关包…