Kettle可以在Window.Linux.Unix上运行,数据抽取高效稳定,使用之前需要准备环境. 准备java环境,这里就不赘述了,建议jdk7以上版本. 上传kettle压缩包,并解压,我解压的路径是/usr/soft/kettle 以下是重点: 确保kettle脚本可执行权限 使用命令查看文件权限 ls -l /data-integration 如图:  如果没有执行权限,执行以下命令: chmod +x /usr/soft/kettle/dist/*.sh 使用命令测试是否部署成功

inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个

Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件发生更改,就触发10次rsync全量同步(简直就是噩梦),那还不如直接写个死循环的rsync全量同步得了. 解决方法1.做判断http://www.ttlsa.com/web/let-infotify-rsync-fast/#comments2.使用金山周洋开发的一个居于inotify+rsync进

Linux下mongodb安装及数据导入导出教程 #查看linux发行版本 cat /etc/issue #查看linux内核版本号 uname -r 一.Linux下mongodb安装的一般步骤 1.到mongodb的官网(https://www.mongodb.org/downloads) 下载相应你系统的安装包,拷贝(能够用ftp工具如winscp)到你的linux系统上面. 2.解压相应的安装包 命令例如以下:tar zxvf mongodb-linux-x86_64-3.0.4.tgz

Linux下的暴力密码在线破解工具Hydra安装及其组件安装-使用 hydra可以破解: http://www.thc.org/thc-hydra,可支持AFP, Cisco AAA, Cisco auth, Cisco enable, CVS, Firebird, FTP, HTTP-FORM-GET, HTTP-FORM-POST, HTTP-GET, HTTP-HEAD, HTTP-PROXY, HTTPS-FORM-GET, HTTPS-FORM-POST, HTTPS-GET, HTT

(总结)Linux下的暴力密码在线破解工具Hydra详解 学习了:https://blog.csdn.net/yafeichang/article/details/53502869

Windows/Linux下磁盘使用的图形化工具简介   如何以图形界面查看磁盘及分区的大小及剩余容量呢?今天我为大家介绍两款Windows/Linux下磁盘使用的图形化工具分别是Spacesniffer/Baobab 帮你解决问题. 1.Baobab这个软件能够以图形化的形式表现磁盘所占用的空间,是GNOME环境下集成的图形化分析工具软件,对于磁盘的管理来说相当具有帮助.下载:http://linux.softpedia.com/get/Desktop-Environment/File-man

转自:https://blog.csdn.net/gatieme/article/details/52144603 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明.本文链接:https://blog.csdn.net/gatieme/article/details/52144603CSDN GitHub终端的乐趣–Linux下有趣的终端命令或者工具 system/tools/terminal其他 28个Unix/Linux的命令行神器 1

kettle 数据抽取时会出现 无法插入NULL,其实是空字符串,原因是kettle默认不区分空字符串和NULL. 解决办法: 修改kettle.properties 文件:

一.lampp环境下的数据库乱码问题 问题描述: 在做mysql练习的时候发现新创建的数据库中插入数据表中的记录中文出现乱码的问题,如下图: 经过多方查证,整里如下文挡: 前提: 我自己的环境是使用的lampp下的mysql,该配置文件是在/opt/lampp/etc/my.cnf:如果是自己安装的mysql,那么配置文件一般都在/etc/my.cnf 解决办法: 1.首先进入msyql,然后使用show variables like 'character%' ,执行编码显示,可以看到如下图所示

Linux下实现kettle 自动同步数据 1.安装jdk tar -zxvf jdk-7u25-linux-x64.tar.gz -C /usr/share 2.配置java环境 vim /etc/profile 在末尾添加如下 export JAVA_HOME=/usr/share/jdk1.7.0_25 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools

很多时候,通过互联网发送或接收大文件和图片是一件令人头疼的事.压缩及解压缩工具正好可以应对这个问题.下面让我们快速浏览一些可以使得我们的工作更加轻松的开源工具. Tar Tar 由 ‘Tape archiver(磁带归档器)’ 衍生而来,最初被用来在磁带上归档和存储文件.Tar 是一个 GNU 软件,它可以压缩一组文件(归档),或提取它们以及对已有的归档文件进行相关操作.在存储.备份以及传输文件方面,它是很有用的.在创建归档文件时,Tar 可以保持原有文件和目录结构不变.通过 Tar 归档的文件

如何使用fdisk和parted分区工具来进行硬盘分区,下面我来说一下在Linux系统中这两种硬盘分区工具的使用方法:     ----------fdisk分区工具----------        在我的另一篇文章里已经说过了在Linux系统中硬盘分区的概念了(http://blog.chinaunix.net/u3/112561/showart_2230401.html),所以在这里我就不多说了,有不懂的可以看看那篇 一..下面来介绍fdisk分区工具的命令格式:     fdisk是传统

之前在Linux下看有什么块设备,通常都用fdisk什么的或者直接ls /dev/ 去看很不方便. 这个工具属于util-linux-ng包,在RHEL 6.1上是安装好的啦,直接用就好. ubuntu高版本下也有. 这个工具最大的特别是把所有的块设备列出,而且还能显示他们之间的依赖关系 "lsblk"就是列出块设备.除了RAM外,以标准的树状输出格式,整齐地显示块设备. root@tecmint:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTP

一. Kettle介绍 1. Kettle简介 ETL即数据抽取(Extract).转换(Transform).装载(Load)的过程.Kettle的中文翻译为水壶.Kettle以元数据驱动的方式提供强大的抽取.转换和加载(ETL) 能力.本身提供了强大的图形界面设计器,可以大大缩短数据抽取项目的开发周期,并且容易维护. Kettle设计器界面友好,提供了工作流设计模式,能满足各种场景的实现. 2. Kettle的模型架构 3. Kettle的优点 1) 支持多种数据源: 2) 支持多任务并发,

转自:http://www.gtwang.org/2011/05/linux-pdf.html PDF 檔雖然是一個跨平台的檔案格式,但 Adobe 只有提供免費的 Adobe Reader,要看 PDF 檔是沒有問題,但常常我們會需要對 PDF 檔做一些簡單的編輯,光靠 Adobe Reader 就沒有辦法處理,例如取出 PDF 檔中的某幾頁,或是將兩個 PDF 檔合併成一個 PDF 檔等,這些動作雖然簡單,但是 Adobe Reader 卻都沒有提供,有時也是很困擾. 這裡介紹一些在 Lin

linux下简单好用的工具rinetd,实现端口映射/转发/重定向 官网地址http://www.boutell.com/rinetd 软件下载wget http://www.boutell.com/rinetd/http/rinetd.tar.gz 解压安装tar zxvf rinetd.tar.gzmakemake install 编辑配置vi /etc/rinetd.conf0.0.0.0 8080 172.19.94.3 80800.0.0.0 2222 192.168.0.103 33

转自:https://blog.csdn.net/Sunny_much/article/details/50668871      JSON是前端编程经常用到的格式.Linux下也有处理处理JSON的神器:jq.       对于JSON格式而言,jq就像sed/awk/grep这些神器一样的方便,而且,jq没有乱七八糟的依赖,只需要一个binary文件jq,就足矣. 本篇中,我们来看一下jq的安装. 1.执行yum list| grep jq查看是否有jq安装包. 2.若有,直接安装jq,执行

在管理和维护Linux系统过程中,有时可能需要从一个具有一定格式的文本(格式化文本)中抽取数据,这时可以使用awk编辑器来完成这项任务.发明这个工具的作者是Aho.Weinberg和Kernighan,取三个人名的首字母而得名awk. 与sed相比,awk更擅长处理格式化文本.格式化文本一般使用某个特定的字符(称为域分隔符)将文本中不同的字段(称为域)隔开.例如用于保存用户信息的系统用户文件/etc/passwd,该文件使用冒号分别将用户名.密码.UID等字段分隔开. 一.awk命令基本格式 命

一.htop 简介 This is htop, an interactive process viewer for Linux. It is a text-mode application (for console or X terminals) and requires ncurses. Comparison between htop and top In 'htop' you can scroll the list vertically and horizontally to see all

Windows安装    安装Mongo数据库: 在发布本文的时间官方提供的最新版本是:2.4.0 ,如果不做特殊声明,本教程所用的版本将会是这个版本. 第一步:下载安装包:http://www.mongodb.org/downloads←单击此处,如果是win系统,注意是64位还是32位版本的,请选择正确的版本. 第二步:新建目录“D:\MongoDB”,作为mongoDB根目录 第三步:解压下载到的安装包,把解压包中的所有文件拷贝到”D:\MongoDB“目录 第四步:在“D:\MongoD