Apache的commons-pool池创建多线程使用WebClient

package test;

import org.apache.commons.pool.PoolableObjectFactory;
import org.apache.commons.pool.impl.GenericObjectPool;
import org.apache.log4j.Logger;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
//http://blog.csdn.net/m13321169565/article/details/8081410
public class PooledClientFactory{
    private static Logger log = Logger.getLogger(PooledClientFactory.class);
    private final static PooledClientFactory instance =new PooledClientFactory();
    //另外一种方案或许更为合适——对象池化技术。
    //基于Apache的commons-pool池
    private final GenericObjectPool clientPool =new GenericObjectPool();
    public static PooledClientFactory getInstance() {
        return instance;
    }
    
    public PooledClientFactory(){
        
        //实现对象池的对象创建工厂接口
        clientPool.setFactory(new PoolableObjectFactory() {
             // 创建对象实例,用于填充对象池。同时可以分配这个对象适用的资源。  
            @Override
            public Object makeObject() throws Exception  {
                log.info("为线程 [ " + Thread.currentThread().getName()+ 
                        " ] 创建新的WebClient实例!");
                
                 WebClient webClient = new WebClient(BrowserVersion.FIREFOX_17);  
                    
                   //设置webClient的相关参数  
                  webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理
                    webClient.getOptions().setJavaScriptEnabled(true);// 开启js解析
                    webClient.getOptions().setCssEnabled(false);
                    // 当出现Http error时,程序不抛异常继续执行
                    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
                    // 防止js语法错误抛出异常
                    webClient.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时,是否抛出异常
                    webClient.getOptions().setTimeout(10000);
                    // 默认是false, 设置为true的话不让你的浏览行为被记录
                    webClient.getOptions().setDoNotTrackEnabled(false);
                    // 设置Ajax异步处理控制器即启用Ajax支持
                    webClient
                            .setAjaxController(new NicelyResynchronizingAjaxController());
                    return webClient;
            }
            
             // 销毁对象,销毁对象池时被调用,连接池调用invalidateObject(obj)时被调用 
            @Override
            public void destroyObject(Object arg0) throws Exception {
                  log.info("销毁对象:" + arg0);  
                WebClient client = (WebClient) arg0;
                client.closeAllWindows();
                client = null;
            }
            
            //  查询对象有效性,需要对象池设置setTestOnBorrow(true),无效对象将被destroy
            @Override
            public boolean validateObject(Object arg0) {
                 log.info("检查对象有效性:" + arg0);  
                return true;
            }

              // 激活一个对象,从对象池获取对象时被调用  

            @Override
            public void activateObject(Object arg0) throws Exception {
                 log.info("激活对象:" + arg0);  
            }
            
             // 挂起(钝化)一个对象,将对象还给对象池时被调用
            @Override
            public void passivateObject(Object arg0) throws Exception {
                
                 log.info("挂起对象:" + arg0);  
            }

        });
        
        clientPool.setTestOnBorrow(true);
        //借出对象达到最大值的最大等待时间,5s等待时间过后抛出异常
        //clientPool.setMaxWait(5000);
        //设置最大可借出数量,默认为8
        clientPool.setMaxActive(10);
    }

    
    
    
    
    
    
    public WebClient getClient()  {
        try {
            return (WebClient)this.clientPool.borrowObject();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
        
    }
    
    public void returnClient(WebClient client) {
        try {
            this.clientPool.returnObject(client);
        } catch (Exception e) {
            e.printStackTrace();
        }
        }

    
      //测试对象池
      public static void main(String[] args) {
          try {
              //CursorableLinkedList
            //得到池中空闲的对象数量,如果不可用返回负数
                log.info(PooledClientFactory.getInstance().clientPool.getNumIdle());
                
       //取出对象1
        Object obj1=    PooledClientFactory.getInstance().getClient();
        //取出对象2
        Object obj2=    PooledClientFactory.getInstance().getClient();
        //取出对象3
                Object obj3=    PooledClientFactory.getInstance().getClient();    
            //如果对象借出达到最大数量MaxActive,程序会一直等待有可用的对象(归还的),也可以通过DEFAULT_MAX_WAIT设置等待时间,默认为-1一直等待
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
            //归还对象1
                
            
        PooledClientFactory.getInstance().returnClient((WebClient) obj1);
        
        //得到池中空闲的对象数量
        log.info(PooledClientFactory.getInstance().clientPool.getNumIdle());
         //    返回从池中借出的对象数量
        log.info(PooledClientFactory.getInstance().clientPool.getNumActive());
        
        //最大可借出数量
        log.info(PooledClientFactory.getInstance().clientPool.getMaxActive());
        //最大空闲数量
        log.info(PooledClientFactory.getInstance().clientPool.getMaxIdle());
        //最小空闲数量
        log.info(PooledClientFactory.getInstance().clientPool.getMinIdle());
        
        
        PooledClientFactory.getInstance().clientPool.clear();
        PooledClientFactory.getInstance().clientPool.close();
        
        //使用工厂创建一个对象
        PooledClientFactory.getInstance().clientPool.getMaxActive();
        } catch (Exception e) {
            
            e.printStackTrace();
        }
        
    }
}
时间: 2024-08-07 00:56:37

Apache的commons-pool池创建多线程使用WebClient的相关文章

Apache Commons pool 简介和pool连接池代码

在实际中工作,我们经常遇到需要连接池的地方,特别是数据库连接池. 我们为什么需要池呢?因为这些资源的创建,都很消耗资源.因此,我们使用一个对象池,里面预先创建了一些资源对象.当我们需要时,从池中取出对象,而不需要时,把对象返回池中.这样就可以提高代码运行的效率. Apache Commons Pool(http://commons.apache.org/pool/)为我们提供了很方便的接口来实现对象池.我们唯一需要实现的就是如何产生对象,而不用去考虑一堆多线程问题. 2013年,Apache C

apache commons pool

apache commons下的pool 其中的borrowObject函数源代码显示其产生可用对象的过程: 如果stack中有空闲的对象,则pop对象,激活对象(activate函数),验证对象(validate函数).最终将合格的对象返回给client. 若对象在这个流程中出错,则在从stack中取出一个,并执行相同的流程.如此循环,直到stack为空. 如果stack为空,则直接调用makeObject函数创建一个对象.在返回对象之前,还会调用验证函数(validate)验证是否有效. 转

Cache Lucene IndexReader with Apache Commons Pool

IndexReaderFactory.java 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 package org.ostree.module.lucene; import org.apache.commons.pool.Ke

The type org.apache.commons.pool.impl.GenericObjectPool$Config cannot be resolved. It is indirectly

static { try { JedisPoolConfig config = new JedisPoolConfig(); config.setMaxActive(MAX_ACTIVE); config.setMaxIdle(MAX_IDLE); config.setMaxWait(MAX_WAIT); config.setTestOnBorrow(TEST_ON_BORROW); jedisPool = new JedisPool(config, ADDR, PORT, TIMEOUT, A

【Tomcat】【3】报错 Illegal access: this web application instance has been stopped already. Could not load [org.apache.commons.pool.impl.CursorableLinkedList$Cursor]

用Tomcat运行项目报错: Illegal access: this web application instance has been stopped already. Could not load [org.apache.commons.pool.impl.CursorableLinkedList$Cursor]. The following stack trace is thrown for debugging purposes as well as to attempt to term

Apache common pool2 对象池

对象池的容器:包含一个指定数量的对象.从池中取出一个对象时,它就不存在池中,直到它被放回.在池中的对象有生命周期:创建,验证,销毁,对象池有助于更好地管理可用资源,防止JVM内部大量临时小对象,频繁触发垃圾回收,造成系统暂停.有许多的使用示例.特别是在应用服务器数据源池,线程池等都是对象池的使用,下面情况适合使用对象池: 同样的对象高频率使用 对象太大消耗很多内存 对象初始化需要时间 对象内涉及IO操作 (Streams, Sockets, DB, etc.) 对象并不是线程安全时. 很多人使用

apache的GenericObjectPool对象池使用经历!

今天,对照晚上的kafka+Spark streaming+Redis实时数据分析系统实战(https://www.iteblog.com/archives/1378 主要目的是整合kafka和Spark,Redis. Redis一直没用过,所以比较犯难,果然,在前面都没什么问题,后面的redis部分,遇到了一个问题: 没有发现GenericObjectPoolConfig这个类. 百度了好久,一直找不到解决的办法,后来,才明白,这应该是个maven的库包,所以,在 http://maven.o

java笔记--使用线程池优化多线程编程

使用线程池优化多线程编程 认识线程池 在Java中,所有的对象都是需要通过new操作符来创建的,如果创建大量短生命周期的对象,将会使得整个程序的性能非常的低下.这种时候就需要用到了池的技术,比如数据库连接池,线程池等. 在java1.5之后,java自带了线程池,在util包下新增了concurrent包,这个包主要作用就是介绍java线程和线程池如何使用的. 在包java.util.concurrent下的 Executors类中定义了Executor.ExecutorService.Sche

使用线程池优化多线程编程

Java中的对象是使用new操作符创建的,如果创建大量短生命周期的对象,这种方式性能非常低下.为了解决这个问题,而发明了池技术. 对于数据库连接有连接池,对于线程则有线程池. 本实例介绍两种方式创建1000个短生命周期的线程,第一种是普通方式,第二种是线程池的方式.通过时间和内存消耗的对比,就可以很明显地看出线程池的优势. 实例结果如下: 说明:使用线程池创建对象的时间是15毫秒,说明线程池是非常高效的. 关键技术: Executors类为java.util.concurrent包中所定义的Ex