配置环境变量 # SQOOP SQOOP_HOME=/home/hadoop/development/src/sqoop-1.4.6-cdh5.6.0 PATH=$PATH:$SQOOP_HOME/bin export PATH cd 到Sqoop根目录 配置Sqoop核心文件 主要配置${SQOOP_HOME}/conf/sqoop-env-template.sh 文件 cp ${SQOOP_HOME}/conf/sqoop-env-template.sh ${SQOOP_HOME}/conf…

环境: hadoop2.7.7 mysql 8 zk 3.4.10 hive 3 1.上传并解压tar包后进入conf目录 拷贝sqoop-env-template.sh并重命名为sqoop-env.sh(conf目录下已经有了sqoop-site.xml) 2.编辑sqoop-env.sh,添加如下变量(如果用到了hbase,可以再增加hbase的相关配置) export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.7 export HADOOP_MAP…

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [hadoop@appserver ~]$ tar -zxvf sqoop-1…

一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop.随着Hadoop和关系型数据库之间的数据移动渐渐变成一个标准的流程,云管理员们能够利用Sqoop的并行批量数据加载能力来简化这一流程,降低编写自定义数据加载脚本的需求. Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与…

一.简介 Apache Sqoop is a tool designed for efficiently transferring data betweeen structured, semi-structured and unstructured data sources. Relational databases are examples of structured data sources with well defined schema for the data they store.…

1.安装准备工作:已经装好的 hadoop 环境是 hadoop-2.5.1 64位下载的sqoop安装包(注意是hadoop200)http://www.us.apache.org/dist/sqoop/1.99.4/sqoop-1.99.4-bin-hadoop200.tar.gz 2.解压文件到工作目录:tar -xvf sqoop-1.99.3-bin-hadoop200.tar.gz mv sqoop-1.99.4-bin-hadoop200 /usr/local/software/…

指导手册 07 安装配置HIVE   安装环境及所需安装包: 1.操作系统:centos6.8 2.四台虚拟机:master :10.0.2.4, slave1:10.0.2.5,slave2:10.0.2.6,slave3:10.0.2.7 3.Hadoop系统己安装完成. 4. mysql-5.7.23.tar.gz 5. apache-hive-2.1.1-bin.tar.gz 6. mysql-connector-java-5.1.47-bin.jar Part01 :centos上安装…

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore…

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

现在越来越多的企业使用ADFS作为单点登录,我希望今天的内容能帮助大家了解如何配置ADFS和SharePoint 2013.安装配置SharePoint2013这块就不做具体描述了,今天主要讲一下怎么安装配置ADFS3.0. 1.   ADFS安装 在ADFS服务器上,以域管理员Administrator身份登录,以管理员身份启动Powershell,运行命令“Install-WindowsFeature -name ADFS-Federation”安装ADFS Windows角色功能. 启动服…

安装配置 系统:Ubuntu14.04 java:1.7.0_75 相关资料 官网 下载地址 官网文档 安装 我们需要关闭掉防火墙,命令如下: sudo ufw disable 下载2.6.5的版本,将下载的Hadooop的压缩包解压到相应的目录,我这里解压到/opt/hadoop-2.6.5文件夹下. 配置 修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件,将JAVA_HOME直接写地址,默认的方式可能取不到 export JAVA_HOME=/us…

主要讲下redis的安装配置,以及以服务的方式启动redis 1.下载最新版本的redis-3.0.7  到http://redis.io/download中下载最新版的redis-3.0.7 下载后,将redis-3.0.7.tar.gz复制到虚拟机中目录/home/lewis/dev_soft中 2.安装redis 将redis-3.0.7.tar.gz解压,tar -zxvf redis-3.0.7.tar.gz 上面中redis-3.0.7是redis解压后的目录 进入redis-3.0…

npm作为一个NodeJS的模块管理,之前我由于没有系统地看资料所以导致安装配置模块的时候走了一大段弯路,所以现在很有必要列出来记录下.我们要先配置npm的全局模块的存放路径以及cache的路径,例如我希望将以上两个文件夹放在NodeJS的主目录下,便在NodeJs下建立“node_global”及“node_cache”两个文件夹.我们就在cmd中键入两行命令: npm config set prefix "D:\Program Files\nodejs\node_global" 和…

1.获取最新版本 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.1.tgz 2.解压并进入bin目录 tar zxvf mongodb-linux-x86_64-2.6.1.tgz cd /opt/database/mongodb-linux-x86_64-2.6.1/bin 3.运行前创建mongodb需要的存放数据和日志的目录: sudo mkdir -p /data/db/ sudo chmod -R 777 /data…

安装配置 一 MVC和MTV模式 著名的MVC模式:所谓MVC就是把web应用分为模型(M),控制器(C),视图(V)三层:他们之间以一种插件似的,松耦合的方式连接在一起. 模型负责业务对象与数据库的对象(ORM),视图负责与用户的交互(页面),控制器(C)接受用户的输入调用模型和视图完成用户的请求. Django的MTV模式本质上与MVC模式没有什么差别,也是各组件之间为了保持松耦合关系,只是定义上有些许不同,Django的MTV分别代表: Model(模型):负责业务对象与数据库的对象(OR…

原文地址:http://developer.51cto.com/art/201005/199628.htm 本文介绍Subversion安装配置快速指南,首先讲Subversion的安装和配置,Unix/Linux下一般已安装或者使用软件包管理机制安装,非常方便,而配置过程基本是一样的,在这里我 们只讲Windows平台下的安装. 一.首先下载所需的软件: Subversion: http://subversion.tigris.org/Windows下的客户端TortoiseSVN: http…

一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/ip…

tftp服务器最简单安装配置 1.安装tftp-server sudo apt-get install tftpd-hpa sudo apt-get install tftp-hpa(如果不需要客户端可以不安装) tftp-hpa是客户端 tftpd-hpa是服务器端 2.配置TFTP服务器 sudo vim /etc/default/tftpd-hpa 将原来的内容改为: TFTP_USERNAME=”tftp” TFTP_ADDRESS=”0.0.0.0:69″ TFTP_DIRECTORY…

首先先介绍下solr的安装配置 solr下载地址 (我这用的solr-4.5.0) 运行环境 JDK 1.5或更高版本 下载地址(Solr 4以上版本,要求JDK 1.6)  我用的JDK1.6 ) 一个java servlet容器,如Tomcat 下载地址 (我用的Tomcat 6,注:JDK1.7 跟Tomcat 7貌似有兼容性问题,记于 2013.12.12) 分词mmseg4j 下载地址 (我用的1.9) 为防止大家各种目录搞混,安装前先告诉大家我自己所创建使用的目录 整个运行环境我创建…

1.安装配置例子 有空再写 2.注意事项 (1)启动mysql 在/etc/mysql 目录下 service mysql start  新版本是(service mysqld start  ) (2)暂停 mysql service mysql stop 新版本是(service mysqld stop ) (3)重启 mysql service mysql restart新版本是(service mysqld restart) (4)客户端连不上linux的mysql数据库 解决:修改一个文…

1.Zookeeper简介 Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等等. 2.zookeeper基本概念 2.1 角色 Zookeeper中的角色主要有以下三类,如下表所示: 系统模型如图所示: 2.2设计目的 1. 最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能. 2. 可靠性:具有简单.健壮.良好的性能,如果消息…

一.环境说明: 操作系统:Ubuntu 12.04.2 LTS Tomcat:apache-tomcat-7.0.52 二.下载 下载地址:http://tomcat.apache.org/ 这里下载的是 apache-tomcat-7.0.52.tar.gz. 三.安装配置 我这下载完成后在当前用户的下载文件夹.进入下载文件夹: ~$ cd ~/下载解压下载的压缩包: ~$ tar -zxvf apache-tomcat-7.0.52.tar.gz重命名解压文件: ~$ mv apache-t…

对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地(local)模式下学习,因为集群模式下跨多台机器,环境相对来说更复杂,许多在本地(local)模式下遇不到的问题在集群模式下往往出现,下面将结合实际详细介绍在 CentOS-6.x 系统上 hadoop-2.2.0 的集群安装(其他Linux发行版无太大差别),最后运行WordCount程序以验证…

对于JBOSS大家了解多少,相信做Java开发的小童鞋对于Tomcat一定不陌生,而今天为大家介绍的JBOSS也是一款服务器软件,相比Tomcat,JBOSS对于高级的JavaEE相对来说更强大一点,因为项目的需要简单了解了一下JBOSS,当然对于其强大的功能还不能面面俱到,本篇就简单带领大家学习一下JBOSS的安装配置.如果你对这个很感兴趣,欢迎交流学习. 1.既然谈到了安装,那我们应该到那里下载呢?JBOSS的官方下载网站:http://www.jboss.org/jbossas/downl…

了解一下 Redis Redis 是一个开源.支持网络.基于内存.键值对的 Key-Value 数据库,使用 ANSI C 编写,并提供多种语言的 API ,它几乎没有上手难度,只需要几分钟我们就能完成安装工作,并让它开始与应用程序顺畅协作.换句话来说,只需投入一小部分时间与精力,大家就能获得立竿见影且效果极佳的性能表现提升,就是说它是一个非常简单缓存解决方案.它支持存储的 Value 类型不仅限于字符串,支持主从同步,数据持久化等等,大家都认为 Redis 是最流行的 Key-Value 存储…

VS2015已经出了正式版,想用来试一下cordova方面的开发.最近在看ionic这个框架,于是想能在VS2015里编辑js就好了. 下面说一下蛋疼的安装配置过程. 一.安装VS2015及Android SDK 首先Android的SDK最好提前下好,我是从另一个电脑上把已经下好的sdk复制到D盘Android目录下,这样安装VS2015的时候就不用选择SDK下载了,速度会快点. 安装VS2015的时候最好网络FQ一下,不然有些组件有可能会下载失败.安装的组件我没选Xamarin,这玩意太贵用…

前言: 以前的项目上传的文件都是保存到本地或者是局域网内的共享文件夹下,由于数据量,服务器的负载均衡(分机的某些图片无法访问的问题处理)等因素的情况下,就想到用fastdfs来文件管理,花了几天时间硬着头皮去学习怎样安装配置,由于linux基础不好,安装配置起来感觉有点费力,不得不随时去查找一些资料,好在经过这几天的努力安装配置fastdfs最终还是搞定了,最终的付出并没有白费,以下是个人的见解,如有误差,请多多指导.不了解fastdfs的童鞋可以先去了解下,请看http://tech.uc.c…

前言 Android Studio的安装配置及使用篇终于来啦~ 废话不多说,以下针对JDK正确安装(及其环境变量配置完毕,即Java开发环境下).Android Studio的安装,配置,以及创建工程.主题字体更换.窗口工具.布局.快捷方式等的基本使用逐一说明. 安装java 下载Java安装包(jdk,网上有很多下载地址,最好去官网下:https://www.java.com/zh_CN/),安装完后记得配置环境变量: 在“系统变量”新建一个变量名为JAVA_HOME的变量,变量值为你本地ja…

PHP的简介 PHP于1994年由Rasmus Lerdorf创建,刚刚开始是Rasmus Lerdorf 为了要维护个人网页而制作的一个简单的用Perl语言编写的程序.这些工具程序用来显示 Rasmus Lerdorf 的个人履历,以及统计网页流量.后来又用C语言重新编写,包括可以访问数据库.他将这些程序和一些表单直译器整合起来,称为 PHP/FI.PHP/FI 可以和数据库连接,产生简单的动态网页程序.......[参考百科] PHP的官方网址:http://www.php.net/ PHP…

Linux Ignite配置——上篇大体介绍了一下Ignite工具的功能.特性等,以及如何在Linux 上安装配置.从上篇可见Ignite安装非常的简单方便.下面介绍一下Ignite Repository Wizard(SQL Server或 ORACLE)配置以及如何注册需要监控的数据库. 在上篇中介绍了如何启动Ignite服务,其实只需要进入/home/ignite8/ignite_8_3_407目录下.就可以看到startup.sh 和shutdwon.sh 两个shell脚本.用来启动和…