PGET,一个简单、易用的并行获取数据框架

使用场景

当我们的服务收到一个请求后,需要大量调用下游服务获取业务数据,然后对数据进行转换、计算后,响应给请求方。

如果我们采用串行获取下游数据,势必会增加响应时长,降低接口的qps。如果是并行获取下游数据,则是不错的。

最直接想到的并行获取方法,无非是将一个个获取数据的方法封装成一个个task,然后放到线程池里执行。但这种没经过设计的使用方式,易用性很低,可复用性也很低。

经本人在实际的业务系统中,多次思考与设计。终于设计出当前这个框架。

特点:绝对的简单、绝对的易用。

相关概念

  • BizData

业务数据对象。用于将下游获取到的数据封装到此对象中。

开发者需自定义给对象,并实现IBizData接口

  • BizDataProvider

业务数据对象提供者。此对象类似于分成结构中的Service层,其调用下游数据源(可以是rpc调用等)将得到的数据封装到BizData对象中。

此类需要添加@BizDataProvider注解。其方法返回值一定要是BizData对象

使用

在spring的xml中配置:

<!-- 初始化框架,并设置用于并行获取业务数据的线程池配置  -->
    <bean class="com.dyz.pget.core.BizDataManager" init-method="init" destroy-method="destroy">
        <property name="corePoolSize" value="12"/>
        <property name="maximumPoolSize" value="200"/>
        <property name="keepAliveTime" value="0"/>
        <property name="queueSize" value="1000"/>
    </bean>

第一步:自定义BizData对象

public class UserInfoBizData implements IBizData{
    private Long userId;
    private String name;
    private Integer age;

    /**
     * 必须提供默认构造参数
     */
    public UserInfoBizData() {
    }

    public UserInfoBizData(Long userId, String name, Integer age) {
        this.userId = userId;
        this.name = name;
        this.age = age;
    }

    /**
     * 如果此数据对象获取失败时的默认兜底值。如果不支持兜底,则返回null即可。
     * @return
     */
    @Override
    public IBizData defaultBizData() {
        return null;
    }

    @Override
    public String format2String() {
        return new StringBuilder()
                .append("ID:").append(userId)
                .append(",名字:").append(name)
                .append(",年龄:").append(age)
                .toString();
    }
}
//篇幅问题,此处只贴了一个BizData的代码

第二步:编写对应的BizDataProvider

@BizDataProvider
public class TestBizDataProvider {

    /**
     * 异常要抛出,框架会捕获
     * @param userId
     * @return
     * @throws Exception
     */
    public UserInfoBizData getUserInfoBizData(long userId)throws Exception{
        //调用远程rpc或者其他数据源得到数据,并封装到Test1BizData对象中
        return new UserInfoBizData(userId,"张三",20);
    }

    public ProductInfoBizData getProductInfoBizData(long shopId,long productId)throws Exception{
        //调用远程rpc或者其他数据源得到数据,并封装到ProductInfoBizData对象中
        return new ProductInfoBizData(productId,shopId,"啤酒");
    }
}

第三步:获取数据

①Getter模式:

使用案例代码:

  @Test
    public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        //并行获取用户信息、商品信息、门店信息三个数据。超时时间是100毫秒
        List<IBizData> bizDataList = BizDataGetter.build()
                .get(UserInfoBizData.class,userId)
                .get(ProductInfoBizData.class,shopId,productId)
                .get(ShopInfoBizData.class,shopId)
                .doGet(100L);

        UserInfoBizData userInfoBizData = (UserInfoBizData)bizDataList.get(0);
        ProductInfoBizData productInfoBizData = (ProductInfoBizData)bizDataList.get(1);
        ShopInfoBizData shopInfoBizData = (ShopInfoBizData)bizDataList.get(2);

        System.out.println(userInfoBizData.format2String());
        System.out.println(productInfoBizData.format2String());
        System.out.println(shopInfoBizData.format2String());
    }

②Injector模式:

定义一个数据包裹对象,存放所需要的数据对象

public class BizDataWrapper {
    private UserInfoBizData userInfoBizData;
    private ShopInfoBizData shopInfoBizData;
    private ProductInfoBizData productInfoBizData;

    public UserInfoBizData getUserInfoBizData() {
        return userInfoBizData;
    }

    public ShopInfoBizData getShopInfoBizData() {
        return shopInfoBizData;
    }

    public ProductInfoBizData getProductInfoBizData() {
        return productInfoBizData;
    }
}

使用案例代码:

  @Test
   public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        BizDataWrapper bizDataWrapper = new BizDataWrapper();
        //并行获取用户信息、商品信息、门店信息三个数据。并注入到bizDataWrapper中,以方便使用。超时时间是100毫秒
        BizDataInjector.build(bizDataWrapper)
                .inject(UserInfoBizData.class,userId)
                .inject(ProductInfoBizData.class,shopId,productId)
                .inject(ShopInfoBizData.class,shopId)
                .doInject(100L);

        System.out.println(bizDataWrapper.getUserInfoBizData().format2String());
        System.out.println(bizDataWrapper.getProductInfoBizData().format2String());
        System.out.println(bizDataWrapper.getShopInfoBizData().format2String());
    }

结尾

相信你使用后,一定会觉着简单易用。

不多说了,贴上github地址:https://github.com/yongzhidai/pget

注:使用时,没必要把源代码粘到业务系统中,自己打个jar包,让业务系统依赖下就OK了。

原文地址:https://www.cnblogs.com/metoy/p/12349641.html

时间: 2024-10-24 04:13:23

PGET,一个简单、易用的并行获取数据框架的相关文章

一个简单的从web页面获取数据插入数据库的小程序

1.数据库新建一张表:Student_information,表中三个字段,name(nvarchar(50),null),sex(nvarchar(50),null),age(numeric(18,0),null) 2.先新建一个Main.jsp. <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!D

头像截图上传三种方式之一(一个简单易用的flash插件)(asp.net版本)

flash中有版权声明,不适合商业开发.这是官网地址:http://www.hdfu.net/ 本文参考了http://blog.csdn.net/yafei450225664/article/details/12855915     并且加入了自己的解析,以供之后的参考. 官网提供的demo包,包含了php,jsp,asp,aspx的demo. 1.Demo中,avatar.swf是执行上传的flash文件:default.jpg是默认显示的图片:demo.html是demo,可以直接复制里面

分享一个简单易用的RPC开源项目—Tatala

http://zijan.iteye.com/blog/2041894 这个项目最早(2008年)是用于一个网络游戏的Cache Server,以及一个电子商务的Web Session服务.后来不断增加新的功能,除了Java还支持C#,到现在已经可以用它来开发网络游戏的服务器.等过些日子我还会开源网络游戏的服务器源码. 关于性能,当时后台相应请求的效率是每秒10W次,现在我在自己的笔记本上测,只有一个客户端与服务器都在一个物理机上(CPU: i7-3610QM; RAM: 8G; OS: Win

分享一个简单易用的软件定时器模块——基于keil+stm32f103zet+hal库(裸机实现)

公众号上看到一个比较好的一个github项目:https://github.com/0x1abin/MultiTimer 今天看了看,简单的,就移植了- 且看文档的说明, ================================= 分享一个简单易用的软件定时器模块——MultiTimer.源码地址: https://github.com/0x1abin/MultiTimer 简介 MultiTimer 是一个软件定时器扩展模块,可无限扩展你所需的定时器任务,取代传统的标志位判断方式, 更

微软新神器-Power BI横空出世,一个简单易用,还用得起的BI产品,你还在等什么???

在当前互联网,由于大数据研究热潮,以及数据挖掘,机器学习等技术的改进,各种数据可视化图表层出不穷,如何让大数据生动呈现,也成了一个具有挑战性的可能,随之也出现了大量的商业化软件.今天就给大家介绍一款逆天Power BI可视化工具.逆天的不仅仅是工具,还有其使用门槛和价格.        本文原文地址:http://www.cnblogs.com/asxinyu/p/Power_BI_Category.html Power BI系列文章地址:http://www.cnblogs.com/asxin

一个简单易用的代码生成工具

大约5年前,我利用3周业余时间写一个CodeBuilder代码生成工具,虽然市场上也有很多代码生成工具,而且有些IDE里也集成了相关的代码生成.当时就是觉得好玩练手,希望写一个简单实用的.就是能通过数据库中表或视图结构生成公共CRUD代码,而且希望能支持各种数据库(MySql,sqlserver,oracle等)及各种程序设计语言(java,C#,ruby,python,php,xml等).最近有各路朋友与兄弟问我有什么不错的代码生成功工具,虽然我已经多年不用代码生成,但是发现每过一段时间就有人

一个简单的NetCore项目:1 - 搭建框架,生成数据库

1- 启动项目 安装.NETCORE SDK,教程在网上可以搜索的到,这里就不讲述了.简单粗暴的方式就是安装最新的VS2015. 2-搭建框架 2.1 打开VS新建一个项目,在弹出的新建项目对话框中,选中NET CORE选项,右边出现的选项就是.NET CORE的所有可建项目了.然后和创建传统.NET项目一样的创建项目就行了. PS:不理解的可以参考 园子里面翻译小组的文章 2.2 开始编写领域实体对象.这里是先实现一个简单的权限管理.所以现在GR.Core 类库中创建一个domain文件夹,然

一款超级简单易用的Android热修复框架 WandFix 使用详解

WandFix是一个基于java ClassLoader实现的热修复框架. 效果展示: 优点: 类似于黄油刀可以直接对成员变量添加@InjectObject("com.example.motordex.AppParsenterImpl2")注解,来绑定热修复包中的实现类. 无需关闭应用即可使修复包生效. 与mvp模式搭配使用效果最佳. 可以自己定义需要热修复的类. 可以自己配置dex加密算法,保护dex文件的安全. 可以通过注解单独设置某个对象是否禁用双亲委托. 使用 使用方法: gi

一个简单的响应式横向网格布局框架Responsive Grid System

网页设计中有一个怎么也绕不开的问题,那就是布局问题.一般来说,一个div可能会分割成很多部分,同样是横向分割成两部分,但是在不同的项目中,我们可能会用不同的css代码,网格系统其实就是为这一类似的问题提供一个统一的解决办法. 网格布局有很多,但是有很多非常复杂,往往无法二次开发.Responsive Grid System是国外的一个网站,他们提供了一种非常简单的实现.其实每一个前端开发人员都可以写出这样的框架,但是,从头开始也许会让很多人动力不足.这个框架代码很简单,对我而言,采用它的原因仅仅