基于Celery的并行处理工程-OpenWorker

OpenWorker-初始建立(2015-05-29),欢迎参与:https://github.com/supergis/OpenWorker
OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

Celery是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。OpenWorker将这几个工程放到一起,并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。

1、并行处理框架:
Celery:http://www.celeryproject.org/
执行任务的分发和调度,使用消息总线进行通讯。
关于Celery的入门教程及参考:http://my.oschina.net/u/2306127/blog?catalog=2527511

2、Web管理控制台:
Flower:https://github.com/mher/flower
在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知:
Jobtastic:http://policystat.github.io/jobtastic/
为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台:
Rodeo:https://github.com/yhat/rodeo
可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。

时间: 2024-08-03 16:38:11

基于Celery的并行处理工程-OpenWorker的相关文章

基于Celery的并行处理工程-OpenWorker快速安装

OpenWorker,欢迎参与:https://github.com/supergis/OpenWorker.OpenWorker是基于Python的并行处理框架,将集成Celery.Flower.Jobtastic和Rodeo工程,可以通过控制台或Web进行管理.提交任务等. Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难.OpenWorker将这几个工程放到一起, 并增加了统一的安装脚本,让部署和安装.运行都更加方便.Ope

基于WebForm+EasyUI的工程管理系统形成之旅 -- 首页快捷方式

上篇<基于WebForm+EasyUI的工程管理系统形成之旅 -- 登录窗口>,主要是介绍系统登录界面页面设计与代码. 最近刚做完施工计划安排设计,之后将分享出来,这个系列更新不是很快,望大家多多体谅. 1.首页快捷方式 首页快捷方式,如下图所示. 点击[添加新的快捷方式],将所有页面以快捷方式呈现,如下图所示 双击添加快捷方式到首页.

基于WebForm+EasyUI的工程管理系统形成之旅 -- 登录窗口

上篇<基于WebForm+EasyUI的工程管理系统形成之旅 -- 登录设置>,主要是介绍系统浏览器及压缩图片工具在线下载安装,这些前期准备是非常重要的. 最近忙于将工程管理系统中各个模块,用业务流程方式串接起来,可能更新博客不是那么快,希望大家多多体谅. 1.登录界面 系统登录界面,如下界面所示. 基于WebForm+EasyUI的工程管理系统形成之旅 -- 登录窗口

基于WebForm+EasyUI的工程管理系统形成之旅 -- 构建Web界面

上篇<基于WebForm+EasyUI的工程管理系统形成之旅 -- 数据统计>,主要介绍系统数据统计所采用图形.报表工具. 本篇将如何构建Web界面以及新增.编辑.导出数据等功能. 1.在Web界面使用ParamQueryGrid控件 web界面,如图所示

基于WebForm+EasyUI的工程管理系统形成之旅 -- 总体介绍

最近比较关注Swift,来博客园看看. 突然发觉自己博客里面竟然没有介绍Web开发系统框架的文章,其实目前在单位工作,大部分时间是做Web开发的.很早就形成了自己的一套Web开发框架,但是由于一些个人原因,一直没有来得及好好整理和推广. 本文是介绍基于WebForm+EasyUI的最新版Web开发框架的一系列形成过程,期间包括一些EasyUI技术,JQuery技术等基础性东西,目的是打造更加稳定.通用.高效.简洁系统框架. 基于WebForm+EasyUI的工程管理系统形成之旅 -- 总体介绍

[STM32F10x] 从零开始创建一个基于标准库的工程

硬件:STM32F103C8T6 平台:MDK-AMR V4.70 1.创建一个Keil uVision 的工程 要点:相同类型的源文件放在一起以便于管理       2.添加标准库源文件 3.添加几个必要的源文件 包括: core_cm3.c stm32f10x_it.c system_stm32f10x_it.c stm32f10x_conf.h 4.指定头文件路径 5.添加必要的预处理标志 本例为 USE_STDPERIPH_DRIVER, STM32F10X_MD 6.添加一个main函

基于eclipse创建maven工程

一.创建项目 1.Eclipse中用Maven创建项目 上图中Next 2.继续Next 3.选maven-archetype-webapp后,next 4.填写相应的信息,Packaged是默认创建一个包,不写也可以 5.创建好项目后,目录如下: 至此,项目已经创建完毕,下边可是配置. 二.项目配置 1.添加Source Folder Maven规定,必须创建以下几个Source Folder src/main/resources src/main/java src/test/resource

基于MDK的mbed工程建立

个人更喜欢mdk作为IDE来编写代码,而mbed作为一个开源项目,有大量优秀代码可以借鉴使用,今后一段时间都会主要看mbed平台的代码以及国内ebox平台代码         1  首先登陆mbed在线开发平台,https://developer.mbed.org/accounts/login/?next=%2Fcompiler%2F ,登陆后的界面如下 : 首先点击右上角位置,选择硬件平台,弹出界面如下,左下方显示之前已经选择过的平台(红色框),如果没有可以点击蓝色框里的添加按钮,选择最接近自

【Neko C Engine】一个基于 C 语言的游戏基础代码库

原本已经用 C++ 在写着一个游戏代码库了,个人作品,规模很小,只能满足基本的游戏开发需求,后来突发奇想,试着用 C 语言重写了一次自己的游戏代码库,姑且叫做 Neko C Engine 吧,缩写 nkCEngine,基于 Windows 系统,底层封装了 Win32 窗口.D3D.DirectSound 等等,使用的时候不需要操心 Win32 窗口,不需要操心绘图与音效播放的细节,直接一个 C 函数创建对象,然后用对应的 C 函数操作对象: 这个库的最终目标,是希望公开出来给所有对游戏开发感兴