日志通过脚本导入到HDFS当中

可以关注公众号:分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新) 利用shell脚本定时备份日志数据到HDFS上(适合日志数据比较少的时候) 时间命令 date +"%Y%m%d" 今天的日期 date -d "1 day ago" +"%Y%m%d" 昨天的日期 date -d "-1 day" +"%Y%m%d" 昨天的日期获取昨天的日志: mv acce…

关注公众号:分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新) flume上传到hdfs: 当我们的数据量比较大时,比如每天的日志文件达到5G以上使用hadoop的put命令不稳定后期考虑引入新的日志上传框架flume source类: exec 监控文件:tail -f /opt/apps/nginx-1.12.2/logs/access.log (nginx日志目录) Spooling Directory 监控目录:spoolDir=/opt/apps/…

sqoop数据导入到Hdfs 或者hive

用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql http://www.cnblogs.com/xuyou551/p/7999773.html 用sqoop将mysql的数据导入到hive表中 https://www.cnblogs.com/xuyou551/p/7998846.html 1:先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求将 bbs_product 表中的前100条数据导导出来只要id brand_id和 nam…

将现有的sql脚本导入 Oracle 数据库，中文乱码问题

将现有的sql 脚本导入 Oracle数据库比如在windows 系统下,可以写一个 bat 来实现直接导入如:bat 中的内容如下,logs.log 将会记录执行日志 sqlplus user/password@dbname @create.sql > logs.log create.sql 中的内容可以是需要执行的sql 语句,也可以是其他sql 脚本,如: @leave_create.sql exit leave_create.sql 中的内容如下 create table a_em…

sqoop操作之Oracle导入到HDFS

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:ORCL \ --username SCOTT --password tiger \ --table EMP -m 1; 查看执行结果: hadoop fs -cat /user/hadoop/EMP/part-m-00000 ,SMITH,CLERK,, ::, ,ALLEN,SALESMAN,, ::,, ,WARD,SALESMAN,, ::,, ,JO…

HBase结合MapReduce批量导入（HDFS中的数据导入到HBase）

HBase结合MapReduce批量导入 package hbase; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.mapreduce.TableOutputFormat; import o…