文件内容 项目案例: https://github.com/TaoPanfeng/case/tree/master/03-flink/flink-rabbitmq-oracle FlinkMain.java import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org…

1. 解析参数工具类(ParameterTool) 该类提供了从不同数据源读取和解析程序参数的简单实用方法,其解析args时,只能支持单只参数. 用来解析main方法传入参数的工具类 public class ParseArgsKit { public static void main(String[] args) { ParameterTool parameters = ParameterTool.fromArgs(args); String host = parameters.getRequ…

将Oracle数据库中的数据写入Excel 1.准备工作 Oracle数据库"TBYZB_FIELD_PRESSURE"表中数据如图: Excel模板(201512.xls): 2.任务说明 我们要完成的任务就是将表"TBYZB_FIELD_PRESSURE"中的数据,按照Excel模板(201512.xls)的样式导入到一个新的Excel中.即:Excel模板(201512.xls)不改变,生成一个和它一样的Excel并且导入数据. 3.关键代码 // 使用Fie…

1.前言 本文是在<如何计算实时热门商品>[1]一文上做的扩展,仅在功能上验证了利用Flink消费Kafka数据,把处理后的数据写入到HBase的流程,其具体性能未做调优.此外,文中并未就Flink处理逻辑做过多的分析,只因引文(若不特殊说明,文中引文皆指<如何计算实时热门商品>一文)中写的很详细了,故仅给出博主调试犯下的错.文中若有错误,欢迎大伙留言指出,谢谢! 源码在GitHub上,地址:https://github.com/L-Wg/flinkExample: 环境:Flin…

1.Flink中exactly once实现原理分析 生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once.目前flink中支持exactly once的source不多,有kafka source:能实现exactly once的sink也不多,如kafka sink.streamingFileSink,其都要开启checkpoint才能实现exactly once.接下来以FlinkKafkaProducer为例,深入研究其源代码,从而理解flink中的e…

临近春节,接到了一个导入数据的任务,在Linux客户端中的数据有50G,大约3亿3千万行: 刚开始很天真,把原始的txt/csv文件用sh脚本转化成了oralce 的insert into 语句,然后分割原始文件,用sqlplus@文件名导入. step1 txt 转化为sql cnt= cat /nfsdata/table/dayinsert.txt | awk -F' ' '{ if (cnt<100) { cnt=cnt+1; } else { cnt=0; print "commi…

一.现象二.原因排查2.1 SparkStreaming程序排查2.2 Kafka数据验证2.3 查看OGG源码2.3.1 生成Kafka消息类2.3.2 Kafka配置类2.3.3 Kafka 消息发送类2.3.4 Kafka 分区获取方式三.结论 一.现象 目前我们的数据是通过OGG->Kafka->Spark Streaming->HBase.由于之前我们发现HBase的列表put无法保证顺序,因此改了程序,如果是在同一个SparkStreaming的批次里面对同一条数据进行操作,…

先说说需求的背景,由于业务数据都在Oracle数据库中,想要对它进行数据的分析会非常非常慢,用传统的数据仓库-->数据集市这种方式,集市层表会非常大,查询的时候如果再做一些group的操作,一个访问需要一分钟甚至更久才能响应. 为了解决这个问题,就想把业务库的数据迁移到Elasticsearch中,然后针对es再去做聚合查询. 问题来了,数据库中的数据量很大,如何导入到ES中呢? Logstash JDBC Logstash提供了一款JDBC的插件,可以在里面写sql语句,自动查询然后导入到ES…

1.首先需要两个jar包jxl.jar,ojdbc.jar(注意版本,版本不合适会报版本错误)2.代码: Java代码   import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.Bi…

业务需求说明,由于公司数据中心处于刚开始部署的阶段,这需要涉及其它部分将数据全部汇总到数据中心,这实现的方式是同上传json文件,通过采用socket&serversocket实现传输. 其中,服务端采用多线程的方式,实现多用户传输的目的.并且实现可以将数据写入到hbase中. 具体步骤如下: 1.首先编写客户端的代码: package com.yiban.datacenter.ToHbaseFromJson; import java.io.BufferedReader; import java…