利用transfer_pool进行批量并发下载

TBOX提供上层高度封装的传输池来进行客户端的并发批量下载、上传、文件复制、socket数据透传等io传输需求。

投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话，例如客户端应用，那么使用全局的tb_transfer_pool()就足够了。

全局的transfer_pool使用了全局的tb_aicp()，并且考虑到大部分客户端应用，并发量不是很高，因此对资源需求做了些限制，一般比较适合并发量小于100的场合。

如果需要高并发的情况，则可以通过tb_transfer_pool_init、tb_aicp_init手动创建：transfer_pool和aicp，指定aicp需要的并发量，来提高并发需求。

如果要对每个io传输更加灵活的控制，可以直接使用async_transfer，自己上层做管理就行了。

// 传输信息回调函数
static tb_bool_t tb_demo_transfer_done_func(tb_size_t state, tb_hize_t offset, tb_hong_t size, tb_hize_t save, tb_size_t rate, tb_cpointer_t priv)
{
    // 计算进度
    tb_size_t percent = 0;
    if (size > 0) percent = (tb_size_t)((offset * 100) / size);
    else if (state == TB_STATE_OK) percent = 100;

    // 打印信息
    tb_trace_i("save[%s]: %llu, rate: %lu bytes/s, percent: %lu%%, state: %s", priv, save, rate, percent, tb_state_cstr(state));

    // 继续下载
    return tb_true;
}

// 投递几个http下载任务
tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file1", "/tmp/a", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file2", "/tmp/b", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 投递几个https下载任务
tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file3", "/tmp/c", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file4", "/tmp/d", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 投递几个文件copy任务
tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/e", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file2", "/tmp/f", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 投递几个文件copy任务
tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/g", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 在windows下投递文件copy任务
tb_transfer_pool_done(tb_transfer_pool(), "c://xxxx/file2", "c://tmp/h", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 投递tcp socket传输任务
tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1", "/tmp/i", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

// 投递udp socket传输数据到其他对方tcp socket服务器上
tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1/?udp=", "sock://xxx.xxx.xxx.xxx", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));

/*! 投递异步io传输任务到传输池：iurl => ourl
 *
 * @param pool          传输池，默认可以使用全局的tb_transfer_pool()，也可以自己创建私有的pool
 * @param iurl          输入url
 * @param ourl          输出url
 * @param offset        源端开始传输的数据offset，一般只要传0就行了
 * @param rate          指定限速值，传0为默认无限速
 * @param done          传输信息回调函数，间隔1s调用一次
 * @param ctrl          控制参数设置回调函数，在开始传输前，对io的传输做一些参数控制
 * @param priv          用户传入的私有数据
 *
 * @return              投递成功：tb_true，投递失败：tb_false
 */
tb_bool_t               tb_transfer_pool_done(tb_transfer_pool_ref_t pool, tb_char_t const* iurl, tb_char_t const* ourl, tb_hize_t offset, tb_size_t rate, tb_async_transfer_done_func_t done, tb_async_transfer_ctrl_func_t ctrl, tb_cpointer_t priv);

其中对于传输参数控制的回调函数使用，可以参考TBOX提供的spider demo程序。

• TBOX项目详情
• TBOX项目源码
• TBOX项目文档