一.Sqoop Sqoop介绍 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.oracle...)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.一般情况下,是将数据分析的结果导出到关系型数据库中,供其他部门使用.Sqoop成立于2009年,刚开始是作为hadoop的一个模块而存在的,不过后来为了更好的进行部署使用,成为apache基金会组织的一个项目.Sqoop专门为大数据而

Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOME,和Path,将java安装目录和运行文件目录配置下就ok拉. 安装地址: 下载 安装 zookeeper 安装地址:下载 安装完zookeeper 需要配置如下信息: 下载后,解压放在目录D:\bigdata(本文所用的目录)下,关于zookeeper以及kafka的目录,路径中最好不要出现空格

搭建过程 Hyper-V 是自Windows Server2008 以来提供的虚拟机管理软件,它操作简便,功能也不错,可以方便的在它里面安装各种操作系统,如图所示: 现在,想利用这几台虚拟服务器搭建一个负载均衡环境,并且想在虚拟机的宿主机上对负载均衡的主机进行管理,于是在宿主机.WinServer2008.WinServer2008-2.WinServer2008-3上面先分别安装好NLB功能: 安装完成后,打开“网络负载平衡管理器”,新建群集,连接到作为群集服务器当中的一台主机,注意,这里说的

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [hadoop@appserver ~]$ tar -zxvf sqoop-1

前言: 国内好些空间.博客是支持Windows Live Writer客户端的,也就是说使用Windows Live Writer不用登陆博客网站,就可以向不同的博客网站发布博客了. Windows Live Writer下载地址:http://download.live.com/writer. 安装步骤: 1. 双击下载的wlsetup-web.exe文件,打开windows 软件包界面, 默认选择"安装所有软件包",不过为了少给我们电脑增加负担,最好是点击下面的"选择要安

一.背景 由于要学习MongoDB,所以就下载了最新的MongoDB 的Community Server版的4.0.0版本.可能是新的版本的缘故,在安装配置上与MongoDB3有许多不同,而且在3中的许多配置(如 设置dbpath.logpath.安装服务等),在4中都可以省去. ​​也就是说,在MongoDB4.0.0中,只要安装好了,基本不用配置就可以用了.由于之前不知道这些,而且安装配置的教程都是参照MongoDB3的,所以走了许多弯路.在此,进行一些安装记录. 二.下载安装 下载 在mo

巡风是一款适用于企业内网的漏洞快速应急.巡航扫描系统,通过搜索功能可清晰的了解内部网络资产分布情况,并且可指定漏洞插件对搜索结果进行快速漏洞检测并输出结果报表. 其主体分为两部分:网络资产识别引擎,漏洞检测引擎. 网络资产识别引擎会通过用户配置的IP范围定期自动的进行端口探测(支持调用MASSCAN),并进行指纹识别,识别内容包括:服务类型.组件容器.脚本语言.CMS. 漏洞检测引擎会根据用户指定的任务规则进行定期或者一次性的漏洞检测,其支持2种插件类型.标示符与脚本,均可通过web控制台进行添

详细步骤请看:http://home.cnblogs.com/group/topic/8550.html . Windows Live Writer手工配置步骤(在博客园配置时输入用户名与密码会自动完成配置): 1.在菜单中选择"Weblog";,然后选择"Another Weblog Service". 2.在Weblog Homepage URL中输入你的Blog主页地址. 3.输入用户名与密码. 4.在“Type of  weblog that you are

下载skywalking6.0.0http://skywalking.apache.org/downloads/ 下载jdk8https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html经测试只支持jdk8. 找个mysql-connector-java-5.1.47.jar放入apache-skywalking-apm-incubating\oap-libs经测试mysql/j版本是6.

下载 sqoop-1.4.5 安装包 配置 sqoop-env.sh #Set path to where bin/hadoop is available 配置Hadoop export HADOOP_COMMON_HOME= #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME= #set the path to where bin/hbase is available 配置HBase expor

1.install python https://www.python.org/downloads/release/python-279/ choose "Files" -> "Windows x86 MSI installer". python --version Python 2.7.9 2.install robot framework https://pypi.python.org/pypi/robotframework#downloads choos

官网下载:https://www.mongodb.com/ 百度经验:https://jingyan.baidu.com/article/d5c4b52bef7268da560dc5f8.html 官网教程:https://docs.mongodb.com/tutorials/ 入门学习文档:http://www.runoob.com/mongodb/mongodb-tutorial.html 基础学习文档:http://www.yiibai.com/mongodb/mongodb_enviro

natapp官网 natapp服务器更新:全面支持HTTPS协议以及本地SSL证书,支持WSS协议.同时支持HTTP/2 WEB协议,支持微信小程序本地开发.全面自动支持泛子域名与访客真实IP地址. 进入官网下载客服端,如下: 解压下载的客服端,然后配置环境变量,地址为解压路径D:\Program Files\natapp,如下: 下面需要创建隧道,通过authtoken参数才能登录,下面是我在官网创建的免费通道(此处需要实名认证),如下: 购买免费通道后,需要authtoken参数,如下: 打

Windows和Centos下Docker的安装配置 windows环境下的安装(win10) 在Windows系统上需要利用toolbox来安装Docker,现在 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V.然后才能正常安装 Hyper-V 就是虚拟机中的一种 开启Hyper-V win10专业版开启方式 键入win,搜索"windows"开打"启用或关闭windows功能",找到Hyper-V并勾选 win10家庭版开启方式

Java开发环境及工具安装配置 Windows JDK 下载地址 https://www.oracle.com/java/technologies/javase-downloads.html 安装配置 全部默认即可,包括安装位置 环境变量 JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xxx CLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; PATH=%JAVA_HOME%\bin;%J

原文地址:http://developer.51cto.com/art/201005/199628.htm 本文介绍Subversion安装配置快速指南,首先讲Subversion的安装和配置,Unix/Linux下一般已安装或者使用软件包管理机制安装,非常方便,而配置过程基本是一样的,在这里我 们只讲Windows平台下的安装. 一.首先下载所需的软件: Subversion: http://subversion.tigris.org/Windows下的客户端TortoiseSVN: http

环境:Windows7 64位系统.mysql-5.7.16-winx64.zip 1.在mysql官网上下载所需的mysql zip包,如我下载的是mysql-5.7.16-winx64.zip: 2.解压缩到本地磁盘(如D盘),解压后的文件夹为mysql-5.7.16-winx64,重命名为mysql-5.7.16: 3.进入mysql-5.7.16文件夹中,显示的默认配置文件为my-default.ini,该配置文件中的配置项较少,我这里重新新建了一个配置文件my.ini: 4.双击打开m

在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad,用来写一些小的Python脚本非常方便. Ulipad下载地址: https://github.com/limodou/ulipad http://files.cnblogs.com/dolphin0520/ulipad.4.1.py27.rar 注意Ulipad是基于wxPython编写的,因此需要有wxpython的支持,得先安装wxpython. 安装完成之后,打开Ulipad就是如下界面了: Ulipad通

Windows下的NodeJS安装是比较方便的(v0.6.0版本之后,支持windows native),只需要登陆官网(http://nodejs.org/),便可以看到首页的“INSTALL”按钮,直接点击就会自动下载安装.安装过程基本直接“NEXT”就可以了.(Windows的安装msi文件在过程中会直接添加path的系统变量,变量值是你的安装路径,建议安装在“D:\Program Files\nodejs”[C盘有权限问题需要解决]) 废话不多说,安装完成之后,我们先检测下NodeJS是

WAMP(Windows.Apache.MySQL.php)安装配置过程 可以参考该网友的总结(总结的不错,鼓掌!!): http://www.cnblogs.com/pharen/archive/2012/02/06/2340628.html 1.在安装配置文件阶段,如果入到配置文件安装失败错误,可以尝试修复office,然后重启计算机后,重新安装. 2.Apache的版本要与PHP的搭配,如:Apache2.2仅支持php5.3.X的版本,否则会出现无法load的错误.

1.windows下的NodeJS安装是比较方便的(v0.6.0版本之后,支持windows native),只需要登陆官网(http://nodejs.org/),便可以看到首页的“INSTALL”按钮,直接点击就会自动下载安装了. 2.安装过程基本直接“NEXT”就可以了.(windows的安装msi文件在过程中会直接添加path的系统变量,变量值是你的安装路径,例如“C:\Program Files\nodejs”). 3.安装完成后可以使用cmd(win+r然后输入cmd进入)测试下是否