使用Spring Batch批处理框架(参考)

  本文主要介绍了春季批量框架的使用分析。文章通过实例代码详细介绍,对每个人的学习或工作都有一定的参考和学习价值,需要的朋友可以参考。

  使用春季批处理作为批处理框架,可以在常规数据量不是特别大的情况下完成离线计算。

  现在写一个简单的入门级例子。http://m.jlnk3659999.com

  这里的默认设置是每个人都已经掌握了Spring Batch的基本知识,这个例子只是为了快速实现手。

  目标1:程序随机生成字符串,在春季批处理后,在字符串后统一添加“-processed”,并输出它们

  目标2:程序读取txt文件,在春季批处理之后,统一添加上述字段并输出它们。

  春季分批过程

  读取数据-项目读取器处理数据-项目处理数据写入-项目写入

  根据对目标的分析,两个目标的输入数据源不同,处理方法基本相同,数据完成后的写入规则相同。

  由此可以分段完成代码http://mip.0834jl.com

  itemReader

  目标一

  这里没有使用Spring Batch自带的集中reader,所以自定义了随机生成字符串的reader

  这里代码并不完善,reader会无线循环生成随机字符串,但不影响本次学习的目的

public class MyItemReader implements ItemReader<String> {
@Override
public String read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException {
return RandomStringUtils.randomAlphabetic(10);
}
}

  目标二

  由于是读取文件中的内容,所以不用自定义reader实现,可直接使用FlatFileItemReader,在Batch的config中配置即可

@Bean
public ItemReader<String> textReader(){

FlatFileItemReader<String> reader=new FlatFileItemReader<>();
File file = new File("D:\\FTP\\ttest.txt");
reader.setResource(new FileSystemResource(file));
reader.setLineMapper(new LineMapper<String>() {
@Overridehttp://www.jl0834.com
public String mapLine(String line, int lineNumber) throws Exception {
return line;
}
});
return reader;

}

  itemProcess

  这里采用同一种处理方式即可

public class MyItemProcessor implements ItemProcessor<String,String> {

@Override
public String process(String s) throws Exception {
return s+"---------PROCESSED";
}
}

原文地址:https://www.cnblogs.com/HanaKana/p/12106457.html

时间: 2024-11-29 06:01:40

使用Spring Batch批处理框架(参考)的相关文章

图书简介:Spring Batch批处理框架

大数据时代批处理利器,国内首度原创解析Spring Batch框架. 内容简介: <Spring Batch 批处理框架>全面.系统地介绍了批处理框架Spring Batch,通过详尽的实战示例向读者展示了Spring Batch框架对大数据批处理的基本开发能力,并对框架的架构设计.源码做了特定的剖析:在帮助读者掌握Spring Batch框架基本功能.高级功能的同时,深入剖析了Spring Batch框架的设计原理,帮助读者可以游刃有余地掌握Spring Batch框架. <Sprin

万树IT:Spring Batch批处理框架技巧,让你不再重复造轮子

整理了Spring批处理框架的内容,掌握这些知识,可以帮你省去一些造轮子的过程,提高开发效率.本文由博主姚兆峰分享,小编整理后推送,希望对你的工作有帮助. Part.1 问题分析 在大型的企业应用中,或多或少都会存在大量的任务需要处理,如邮件批量通知所有将要过期的会员等等.而在批量处理任务的过程中,又需要注意很多细节,如任务异常.性能瓶颈等等.那么,使用一款优秀的框架总比我们自己重复地造轮子要好得多一些. AD 我所在的物联网云平台部门就有这么一个需求,需要实现批量下发命令给百万设备.为了防止枯

Spring Batch批处理以及编程模型

1.批处理: 类似于SQL里面的批处理提交 2.场景: 业务定时进行批处理操作,但是批处理的编程模型是怎么的呢? 3.开源框架 Spring Batch 4.编程模型: reader-processor-writer JobLauncher - Job - JobExecution -JobParametersValidator JobExecution result = launcher.run(job, new JobParameters()); //runJob机制 5.策略 a.批量提交

spring batch(批处理)

一篇spring批处理的教程 https://www.petrikainulainen.net/programming/spring-framework/spring-batch-tutorial-introduction/ 关于批处理: 批处理是一件完整的工作 其特点包括,正确的输出,容错,快速处理. 批处理的处理过程剖析: 首先批处理是一个工作,这个工作中包含若干个步骤,每个步骤是一个单独的任务 每个步骤中的处理都包括 读操作,处理操作,写操作.这三种 批处理就是对步骤进行一个调度. 具体的

Spring Dataflow批处理框架在OCP上的部署

详细参考 https://donovanmuller.blog/spring-cloud-dataflow-server-openshift/docs/1.2.1.RELEASE/reference/htmlsingle/ 注意事项: Openshift上需要部署service catalog 部署步骤 1.建立项目 #oc login -u admin #oc new-project scdf --description="Spring Cloud Data Flow" 2.部署模板

【转】大数据批处理框架 Spring Batch全面解析

如今微服务架构讨论的如火如荼.但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易.在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理.针对OLTP,业界有大量的开源框架.优秀的架构设计给予支撑:但批处理领域的框架确凤毛麟角.是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了,今天我将以Spring Batch为例,和大家一起探秘批处理的世界.初识批处理典型场景探秘领域模型及关键架构实现作业健壮性与扩展性批处理框架的不足与增强批处理典型业务场景对账是典型的批处理业务处

spring batch批量处理框架

spring batch精选,一文吃透spring batch批量处理框架 前言碎语 批处理是企业级业务系统不可或缺的一部分,spring batch是一个轻量级的综合性批处理框架,可用于开发企业信息系统中那些至关重要的数据批量处理业务.SpringBatch基于POJO和Spring框架,相当容易上手使用,让开发者很容易地访问和利用企业级服务.spring batch具有高可扩展性的框架,简单的批处理,复杂的大数据批处理作业都可以通过SpringBatch框架来实现. spring batch

Spring Batch 专题

如今微服务架构讨论的如火如荼.但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易.在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理.针对OLTP,业界有大量的开源框架.优秀的架构设计给予支撑:但批处理领域的框架确凤毛麟角.是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了,今天我将以Spring Batch为例,和大家一起探秘批处理的世界. 初识批处理典型场景 探秘领域模型及关键架构 实现作业健壮性与扩展性 批处理框架的不足与增强 批处理典型业务场景 对账是典型的

Spring Batch 如何健壮可重启可追溯 SKIP/RETRY/RESTART策略的应用

前提:你已经有了一定的Spring基础 你已经可以跑动一个简单的Spring batch 的实例 参考:http://www.cnblogs.com/gulvzhe/archive/2011/10/25/2224249.html http://www.cnblogs.com/cdutedu/p/3789396.html 先盗几个图 JobLauncher 指定一个 JobRepository JobRepository包含了一些传入JOB的参数,主要有六个表去存储 每个JOB可以对应多个Step