Spring batch学习 (1)

Spring Batch 批处理框架埃森哲和Spring Source研发

主要解决批处理数据的问题，包含并行处理，事务处理机制等。具有健壮性可扩展，和自带的监控功能，并且支持断点和重发。让程序员更加注重于业务实现。

Spring Batch 结构如下

JobRepository ：作业仓库负责job。step执行过程的状态保存

JobLauncher : 作业调度器提供执行job入口

Job : 作业由一个或者多个step组成封装多个批处理操作，每个step可以有自己的上下文存放变量和自己的生命周期。

Step: 作业步 job的一个环节，有多个或者一个step组成job

Tasklet: Step中的具体执行逻辑的动作可循环执行，支持异步和同步适用于不同场景

Chunk :给定的item集合可以定义对chunk的读操作，处理操作，写操作，提交间隔等这是SpringBatch 一个特性

Item:一条数据记录

ItemReader: 从数据源(文件系统队列文件等)读取item

ItemProcessor:在Item写入前进行一些处理比如数据清洗，数据转换，数据校验，数据过滤等。

ItemWrieter :将item批量输出到数据源（文件系统，队列，数据库等）

看下batch的基本配置元素分为两种一种为在内存中。

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    default-autowire="byName">

    <!--job工厂 不是定时-->

    <bean id="jobRepository"

        class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean">

    </bean>

  <!--job加载器-->

<bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher"> <property name="jobRepository" ref="jobRepository"/> </bean>
<!--事务管理器-->
 <bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager"/> </beans>

第二种为放在数据库中需要在数据库中建表脚本在spring-batch-core的core包里面。mysql版本如下下一篇文章解释表的作用

-- Autogenerated: do not edit this file

CREATE TABLE BATCH_JOB_INSTANCE  (

    JOB_INSTANCE_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT ,

    JOB_NAME VARCHAR() NOT NULL,

    JOB_KEY VARCHAR() NOT NULL,

    constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION  (

    JOB_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT  ,

    JOB_INSTANCE_ID BIGINT NOT NULL,

    CREATE_TIME DATETIME NOT NULL,

    START_TIME DATETIME DEFAULT NULL ,

    END_TIME DATETIME DEFAULT NULL ,

    STATUS VARCHAR() ,

    EXIT_CODE VARCHAR() ,

    EXIT_MESSAGE VARCHAR() ,

    LAST_UPDATED DATETIME,

    constraint JOB_INST_EXEC_FK foreign key (JOB_INSTANCE_ID)

    references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_PARAMS  (

    JOB_EXECUTION_ID BIGINT NOT NULL ,

    TYPE_CD VARCHAR() NOT NULL ,

    KEY_NAME VARCHAR() NOT NULL ,

    STRING_VAL VARCHAR() ,

    DATE_VAL DATETIME DEFAULT NULL ,

    LONG_VAL BIGINT ,

    DOUBLE_VAL DOUBLE PRECISION ,

    IDENTIFYING CHAR() NOT NULL ,

    constraint JOB_EXEC_PARAMS_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION  (

    STEP_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT NOT NULL,

    STEP_NAME VARCHAR() NOT NULL,

    JOB_EXECUTION_ID BIGINT NOT NULL,

    START_TIME DATETIME NOT NULL ,

    END_TIME DATETIME DEFAULT NULL ,

    STATUS VARCHAR() ,

    COMMIT_COUNT BIGINT ,

    READ_COUNT BIGINT ,

    FILTER_COUNT BIGINT ,

    WRITE_COUNT BIGINT ,

    READ_SKIP_COUNT BIGINT ,

    WRITE_SKIP_COUNT BIGINT ,

    PROCESS_SKIP_COUNT BIGINT ,

    ROLLBACK_COUNT BIGINT ,

    EXIT_CODE VARCHAR() ,

    EXIT_MESSAGE VARCHAR() ,

    LAST_UPDATED DATETIME,

    constraint JOB_EXEC_STEP_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_CONTEXT  (

    STEP_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,

    SHORT_CONTEXT VARCHAR() NOT NULL,

    SERIALIZED_CONTEXT TEXT ,

    constraint STEP_EXEC_CTX_FK foreign key (STEP_EXECUTION_ID)

    references BATCH_STEP_EXECUTION(STEP_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT  (

    JOB_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,

    SHORT_CONTEXT VARCHAR() NOT NULL,

    SERIALIZED_CONTEXT TEXT ,

    constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_STEP_EXECUTION_SEQ values();

CREATE TABLE BATCH_JOB_EXECUTION_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_JOB_EXECUTION_SEQ values();

CREATE TABLE BATCH_JOB_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_JOB_SEQ values();

<?xml version="1.0" encoding="UTF-8"?>

<bean:beans xmlns="http://www.springframework.org/schema/batch"    //这里batch的xsd

    xmlns:bean="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    http://www.springframework.org/schema/beans/spring-beans-3.0.xsd

    http://www.springframework.org/schema/tx

    http://www.springframework.org/schema/tx/spring-tx-3.0.xsd

    http://www.springframework.org/schema/aop

    http://www.springframework.org/schema/aop/spring-aop-3.0.xsd

    http://www.springframework.org/schema/context

    http://www.springframework.org/schema/context/spring-context-2.5.xsd

    http://www.springframework.org/schema/batch

    http://www.springframework.org/schema/batch/spring-batch-2.2.xsd">

    <!-- 作业仓库 -->

    <job-repository id="jobRepository" data-source="dataSource"

        transaction-manager="transactionManager" isolation-level-for-create="SERIALIZABLE"

        table-prefix="BATCH_" max-varchar-length=""

    />

    <!-- 作业调度器 -->

    <bean:bean id="jobLauncher"

        class="org.springframework.batch.core.launch.support.SimpleJobLauncher">

        <bean:property name="jobRepository" ref="jobRepository"/>

    </bean:bean>

    <!-- 事务管理器 -->

    <bean:bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">

        <bean:property name="dataSource" ref="dataSource" />

    </bean:bean>

    <!-- 数据源  可以引入properties 做成可配-->

    <bean:bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource">

          <bean:property name="driverClassName">

               <bean:value>com.mysql.jdbc.Driver</bean:value>

          </bean:property>

          <bean:property name="url">

               <bean:value>jdbc:mysql://127.0.0.1:3306/batch</bean:value>

          </bean:property>

          <bean:property name="username" value="root"></bean:property>

          <bean:property name="password" value="root"></bean:property>

     </bean:bean>

</bean:beans>

这里拿spring batch一书上面例子说明应用场景：

如图这种情况下面简单的实现：

1.定义信用卡实体

/**

 *

 */

package com.juxtapose.example.ch02;

/**

 * 信用卡对账单模型.<br>

 * @author bruce.liu(mailto:jxta.liu@gmail.com)

 * 2013-1-6下午09:56:02

 */

public class CreditBill {

    private String accountID = "";    /** 银行卡账户ID */

    private String name = "";        /** 持卡人姓名 */

    private double amount = ;        /** 消费金额 */

    private String date;            /** 消费日期 ，格式YYYY-MM-DD HH:MM:SS*/

    private String address;            /** 消费场所 **/

    public String getAccountID() {

        return accountID;

    }

    public void setAccountID(String accountID) {

        this.accountID = accountID;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

    public double getAmount() {

        return amount;

    }

    public void setAmount(double amount) {

        this.amount = amount;

    }

    public String getDate() {

        return date;

    }

    public void setDate(String date) {

        this.date = date;

    }

    public String getAddress() {

        return address;

    }

    public void setAddress(String address) {

        this.address = address;

    }

    /**

     *

     */

    public String toString(){

        StringBuffer sb = new StringBuffer();

        sb.append("accountID=" + getAccountID() + ";name=" + getName() + ";amount="

                + getAmount() + ";date=" + getDate() + ";address=" + getAddress());

        return sb.toString();

    }

}

2. 定义processor 这里只是打印　　

import org.springframework.batch.item.ItemProcessor;

public class CreditBillProcessor implements

        ItemProcessor<CreditBill, CreditBill> {

    public CreditBill process(CreditBill bill) throws Exception {

        System.out.println(bill.toString());

        return bill;

    }

}

第三：

<?xml version="1.0" encoding="UTF-8"?>

<bean:beans xmlns="http://www.springframework.org/schema/batch"

    xmlns:bean="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    http://www.springframework.org/schema/beans/spring-beans-3.0.xsd

    http://www.springframework.org/schema/tx

    http://www.springframework.org/schema/tx/spring-tx-3.0.xsd

    http://www.springframework.org/schema/aop

    http://www.springframework.org/schema/aop/spring-aop-3.0.xsd

    http://www.springframework.org/schema/context

    http://www.springframework.org/schema/context/spring-context-2.5.xsd

    http://www.springframework.org/schema/batch

    http://www.springframework.org/schema/batch/spring-batch-2.2.xsd">

    <bean:import resource="classpath:ch02/job-context.xml"/>

    <job id="billJob">

        <step id="billStep">

            <tasklet transaction-manager="transactionManager">

                <chunk reader="csvItemReader" writer="csvItemWriter"

                    processor="creditBillProcessor" commit-interval="">  //每两行插入一次

                </chunk>

            </tasklet>

        </step>

    </job>

      <job id="testJob">

        <step id="testStep">

            <tasklet transaction-manager="transactionManager">

                <chunk reader="csvItemReader" writer="csvItemWriter"

                    processor="creditBillProcessor" commit-interval="">

                </chunk>

            </tasklet>

        </step>

    </job>

    <!-- 读取信用卡账单文件,CSV格式 -->

    <bean:bean id="csvItemReader"

        class="org.springframework.batch.item.file.FlatFileItemReader"

        scope="step">

        <bean:property name="resource"

            value="classpath:ch02/data/credit-card-bill-201303.csv"/> //读取的文件名称

        <bean:property name="lineMapper">

            <bean:bean

                class="org.springframework.batch.item.file.mapping.DefaultLineMapper">

                <bean:property name="lineTokenizer" ref="lineTokenizer"/>

                <bean:property name="fieldSetMapper">//映射列

                    <bean:bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">

                        <bean:property name="prototypeBeanName" value="creditBill">

                        </bean:property>

                    </bean:bean>

                </bean:property>

            </bean:bean>

        </bean:property>

    </bean:bean>

    <!-- lineTokenizer -->

    <bean:bean id="lineTokenizer"

        class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">

        <bean:property name="delimiter" value=","/> //分隔符

        <bean:property name="names">

            <bean:list> //列名

                <bean:value>accountID</bean:value>

                <bean:value>name</bean:value>

                <bean:value>amount</bean:value>

                <bean:value>date</bean:value>

                <bean:value>address</bean:value>

            </bean:list>

        </bean:property>

    </bean:bean>

    <!-- 写信用卡账单文件，CSV格式 -->

    <bean:bean id="csvItemWriter"

        class="org.springframework.batch.item.file.FlatFileItemWriter"

        scope="step">

        <bean:property name="resource" value="file:target/ch02/outputFile.csv"/>

        <bean:property name="lineAggregator">

            <bean:bean

                class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">

                <bean:property name="delimiter" value=","></bean:property>

                <bean:property name="fieldExtractor">

                    <bean:bean

                        class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">

                        <bean:property name="names"

                             value="accountID,name,amount,date,address">

                        </bean:property>

                    </bean:bean>

                </bean:property>

            </bean:bean>

        </bean:property>

    </bean:bean>

    <bean:bean id="creditBill" scope="prototype"

        class="com.juxtapose.example.ch02.CreditBill">

    </bean:bean>

    <bean:bean id="creditBillProcessor" scope="step"

        class="com.juxtapose.example.ch02.CreditBillProcessor">

    </bean:bean>

</bean:beans>

4.测试

/**

 *

 */

package test.com.juxtapose.example.ch02;

import java.util.LinkedHashMap;

import java.util.Map;

import org.springframework.batch.core.Job;

import org.springframework.batch.core.JobExecution;

import org.springframework.batch.core.JobParameter;

import org.springframework.batch.core.JobParameters;

import org.springframework.batch.core.launch.JobLauncher;

import org.springframework.context.ApplicationContext;

import org.springframework.context.support.ClassPathXmlApplicationContext;

/**

 *

 * @author bruce.liu(mailto:jxta.liu@gmail.com)

 * 2013-2-28下午08:34:48

 */

public class JobLaunch {

	/**

	 * @param args

	 */

	public static void main(String[] args) {

		ApplicationContext context = new ClassPathXmlApplicationContext(

				"ch02/job/job.xml");

		JobLauncher launcher = (JobLauncher) context.getBean("jobLauncher");

		Job job = (Job) context.getBean("billJob");

		try {             
                        //这里只是测试参数

			Map<String,JobParameter> map  = new LinkedHashMap<String,JobParameter>();

			JobParameter jb = new JobParameter("aa",true);

			map.put("aa", jb);

			JobParameters jbs = new JobParameters(map);

			JobExecution result = launcher.run(job, jbs);

			System.out.println(result.toString());

		} catch (Exception e) {

			e.printStackTrace();

		}

	}

}

结果如上。大功告成。

下篇将表结构和各个组件的实现和扩展。

20170818 5.00

Spring batch学习 (1)的更多相关文章

Spring Batch学习笔记三：JobRepository
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch Job在运行时有很多元数据,这些元数据一般会被保存在内存或者数据库中,由于Spring Batch在默认配置是使用H ...
Spring Batch学习笔记二
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch的架构一个Batch Job是指一系列有序的Step的集合,它们作为预定义流程的一部分而被执行: Step代表一个自 ...
spring batch学习笔记
Spring Batch是什么? Spring Batch是一个基于Spring的企业级批处理框架,按照我师父的说法,所有基于Spring的框架都是使用了spring的IoC特性,然后加上 ...
Spring Batch学习
今天准备研究下Spring Batch,然后看了一系列资料,如下还是比较好的教程吧. 链接: http://www.cnblogs.com/gulvzhe/archive/2011/12/20/229 ...
Spring Batch学习笔记(一)
Spring Batch简介 Spring Batch提供了可重复使用的功能,用来处理大量数据.包括记录.跟踪,事务管理,作业处理统计,作业重启,跳过和资源管理. 此外还提供了更高级的技术服务和功能, ...
Spring batch学习详细配置解读(3)
第一篇讲到普通job 配置那么spring batch 给我们提供了丰富的配置,包括定时任务,校验,复合监听器,父类,重启机制等. 下面看一个动态设置读取文件的配置 1.动态文件读取 <?x ...
Spring batch学习持久化表结构详解(2)
#接上一篇这一篇讲一下持久化需要表 batch_job_execution, batch_job_execution_context, batch_job_execution_params, bat ...
Maven+Spring Batch+Apache Commons VF学习
Apache Commons VFS资料:例子:http://www.zihou.me/html/2011/04/12/3377.html详细例子:http://p7engqingyang.iteye ...
spring batch批处理框架学习
内如主要来自以下链接: http://www.importnew.com/26177.html http://www.infoq.com/cn/articles/analysis-of-large-d ...

随机推荐

Android反射机制:手把手教你实现反射
什么是反射机制? JAVA反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意一个方法和属性:这种动态获取的信息以及动态调用对象的方法的功能称 ...
【Python】使用codecs模块进行文件操作及消除文件中的BOM
前言此前遇到过UTF8格式的文件有无BOM的导致的问题,最近在做自动化测试,读写配置文件时又遇到类似的问题,和此前一样,又是折腾了挺久之后,通过工具比较才知道原因. 两次在一个问题上面栽更头,就在想 ...
MaintainableCSS 《可维护性 CSS》 --- 约定篇
约定可维护的CSS具有以下约定: .<module>[-<component>][-<state>] {} 根据所讨论的模块,方括号是可选的.这里有些例子: /* ...
vue-router与v-if实现tab切换的思考
vue-router 该如何使用忽然碰到一个常见的问题,明明可以使用 v-if / v-show 可以的解决的问题,有没有必要是使用 vue-router来解决. 比如常见的 tab 切换.一时间, ...
css之水平垂直居中方式
布局中常用到的水平垂直居中问题作为一个前端开发人员,布局是我们日常工作中解除最多的,而水平垂直居中也必不可少的出现,面试中也经常遇到噢- 一.position:absolute(固定宽高) widt ...
Python 编程核心知识体系-函数（二）
函数
react中父组件调用子组件的方法
1.直接使用ref进行获取 import React, {Component} from 'react'; export default class Parent extends Component ...
Locust 介绍篇
Locust介绍: Locust作为基于Python语言的性能测试框架. 其优点在于他的并发量可以实现单机10倍于LoadRunner和Jmeter工具.他的工作原理为协程并发,也就是gevent库. ...
Linux升级nodejs及多版本管理
最近要用到开发要用到nodejs,于是跑到开发机运行了下node,已经安装了,深感欣慰,是啥版本呢?再次运行了下node -v,原来是0.6.x的.估计是早先什么时候谁弄的.那么来升级下node吧. ...
java编程排序之内置引用类型的排序规则实现，和自定义规则实现+冒泡排序运用
第一种排序:[冒泡排序]基本数据类型的排序. [1]最简易的冒泡排序.效率低.因为比较的次数和趟数最多. /** * 最原始的冒泡排序. * 效率低. * 因为趟数和次数最多.都是按最大化的循环次数进 ...

Spring batch学习 (1)

Spring batch学习 (1)的更多相关文章

随机推荐

热门专题