前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令. 显示mysql数据库的信息,一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.168.2.101:3306/ --username root --password root 显示数据库里所有表: sqoop list-tables --connectjdbc:mysql://192.168.2.…

Kettle的应用——对mysql数据进行表输入与导出 1. 下载好kettle解压包 网址:http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download 下载好是一份这样的文件 2. 解压kettle解压包 解压后你看到如下一份文件: 进到data-integration目录下看一下所有的文件如下: 3.导入mysql的jar包到data-integrati…

一.说明 随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复机制来保证它们的企业(数据)资产.备份Hbase时的难点是其待备份的数据集可能非常巨大,因此备份方案必须有很高的效率.Hbase备份方案必须既能够伸缩至对数百TB的存储容量进行备份,又能够在一个合理的时间内完成数据恢复的工作.HBase和Apache Hadoop系统提供了许多内置的机制,可以快速而轻松的完成PB级数据的备份和恢复工作. 二.方法 HBase是一个基于LSM树(…

纪念工作中的第一次删库跑路的经历 今天接到一个任务,是将一个测试库数据导到另一个测试库,然而我们公司的数据库是不让直连的,所以只能通过远程连接进行导库操作. 老大布置任务的时候让用dump命令进行操作,因为老大就是通过dump命令将数据库服务器上的数据定时备份到测试环境中的应用服务器上. 所以当时就有点懵逼......啥时dump命令.然后求助度娘,才发现有mysqldump命令.这才发现了新大陆.然后一顿操作一直报连接不上本地mysql本服务器. 第一整这个,当时就懵了.所以就想着sql文件都…

EasyPoi介绍: 利用注解的方式简化了Excel.Word.PDF等格式的导入导出,而且是百万级数据的导入导出.EasyPoi官方网址:EasyPoi教程_V1.0 (mydoc.io).下面我写了一个测试用例,真的是很方便,可以利用注解自动完成单元格的合并,设置单元格宽度.设置字符替换.并且可以很好的完成实体类之间一对一.一对多关系的处理 不卖关子,事先说明百万级大数据操作使用:导入(importExcelBySax),导出(exportBigExcel) 导入依赖 <dependency…

数据泵是10g推出的功能,个人倒数据比较喜欢用数据泵. 其导入的时候利用remap参数很方便转换表空间以及schema,并且可以忽略服务端与客户端字符集问题(exp/imp需要排查字符集). 数据泵也有不方便的地方,如果远程导出导入,必须安装数据库服务端(client不行):需要在数据库中创建一个路径directory(dba_directories):并且主流工具支持exp/imp的导入导出(plsql developer),所以发现数据泵流行程度没有想象中高. 以下简单介绍schema的导入…

Redis协议 *<args><cr><lf> 参数个数 $<len><cr><lf> 第一个参数长度 <arg0><cr><lf> 第一个参数 $<len><cr><lf> 第一个参数长度 <arg1><cr><lf> 第二个参数 ... ... 编写SQL语句,把mysql数据组合成Redis协议数据流 SELECT CON…

window下 1.导出整个数据库(无需登录mysql)mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql 带编码格式:mysql -uroot -p --default-character-set=utf8 dbname < bak.sql2.导出一个表mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u dbuser -p dbname…

注意:本地MySQL服务要开启 更新整个数据库 1.将正式服务器上的数据库做备份 登录到正式服务器,执行如下命令:(注意空格) mysqldump -uroot –p密码 数据库名 -P 接口 --default-character-set=gbk --opt -Q -R --skip-lock-tables > 输出文件名.sql 将输出文件.sql文件拷贝到测试服务器 mysqldump -h 127.0.0.1 -uroot -p1234 database -P 3306 --defaul…

使用DOS 操作界面导出表数据,导入表数据(需要在数据库所在的服务器上边执行) exp UserName/Password@192.168.0.141/orcl   file=d:\xtables.dmp full = y --导出 (如果要导出全部数据把后边命令full = y 替换成tables=(table1,table2,table3)) (如果只导出表结构不要表数据 owner=user rows=n 最后加rows=n代表不要数据行) --FULL     = 全库导出. --OWN…