Gearman介绍

Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相比,Gearman更偏向于任务分发功能。它的 任务分布非常 简单,简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资 源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。

oschina.net - 任务调度程序 Gearman

时间: 2024-10-14 19:49:39

Gearman介绍的相关文章

Gearman介绍、原理分析、实践改进

gearman是什么? 它是分布式的程序调用框架,可完成跨语言的相互调用,适合在后台运行工作任务.最初是2005年perl版本,2008年发布C/C++版本.目前大部分源码都是(Gearmand服务job Server)C++,各个API实现有各种语言的版本.PHP的Client API与Worker API实现为C扩展,在PHP官方网站有此扩展的中英文文档. gearman架构中的三个角色 client:请求的发起者,工作任务的需求方(可以是C.PHP.Java.Perl.Mysql udf等

gearman知识文章

一篇文章: Gearman介绍.调研.测试与原理分析 gearman是什么? 它是分布式的程序调用框架,可完成跨语言的相互调用,适合在后台运行工作任务.最初是2005年perl版本,2008年发布C/C++版本.目前大部分源码都是(Gearmand服务job Server)C++,各个API实现有各种语言的版本.PHP的Client API与Worker API实现为C扩展,在PHP官方网站有此扩展的中英文文档. gearman架构中的三个角色 client:请求的发起者,工作任务的需求方(可以

分布式任务分发框架Gearman教程和PHP实现实例

1.Gearman介绍和使用场景 Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相 比,Gearman更偏向于任务分发功能.它的任务分布非常简单,简单得可以只需要用脚本即可完成.Gearman最初用于LiveJournal的图片 resize功能,由于图片resize需要消耗大量计算资源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面. 通常,多语言多系统之间的集成是个大问题,一般来说,人们多半会采用WebService的方式来处理此类集成问题,但不

gearman安装

官网:  http://gearman.org/ 一篇文章: 利用Gearman实现异步任务处理 一.问题分析 问题:在性能测试过程中,发现用户管理平台在进行图片上传时,性能不佳. 分析:经过代码分析得知,主要的瓶颈是图片上传后,还需要根据图片组件所在页面模块容器进行一系列处理:图片生成缩略图,裁剪图片,加水印等,这些处理在高并发的情况下,会消耗大量cpu资源,导致系统响应速度非常慢. 旧的处理方式: 次控端调用前台接口进行上传图片后,前台程序先上传图片,接着,进行图片压缩等处理,然后再返回结果

用Gearman分发PHP应用程序的工作负载

文章来源:PHP开发学习门户 地址:http://www.phpthinking.com/archives/518 尽管一个 Web 应用程序的大部分内容都与表示有关,但它的价值与竞争优势却可能体现在若干专有服务或算法方面.如果这类处理过于复杂或拖沓,最好是进行异步执行,以免 Web 服务器对传入的请求没有响应.实际上,将一个计算密集型的或专门化的功能放在一个或多个独立的专用服务器上运行,效果会更好. 常用的缩略词 API:应用程序编程接口 HTTP:超文本传输协议 LAMP:Linux.Apa

[Linux]使用PHP编写Gearman的Worker守护进程

在我之前的文章中,介绍过Gearman的使用.在我的项目中,我使用了PHP来编写一直运行的Worker.如果按照Gearman官方推荐的例子,只是简单的一个循环来等待任务,会有一些问题,包括:1.当代码进行过修改之后,如何让代码的修改生效:2.重启Worker的时候,如何保证当前的任务处理完成才重启. 针对这个问题,我考虑了以下的解决方法: 1.每次修改完代码后,Worker需要手工重启(先杀死然后启动).这个只能解决重新加载配置文件的问题. 2.在Worker中设置,单次任务循环完成后,就对W

LAMP架构演进到LAMPGC,再演进到LNMLGC(linux+nginx+mysql+lua+gearman+C)

LAMP是一个大众的架构了,linux+apache+mysql+php 在我们系统的架构中,做了进一步的演进,linux+apahce+mysql+php+gearman+C php作页面的展示 核心业务逻辑由C语言实现,php通过gearman中间件调用C任务 由于apache在高并发方面不太给力,因此在需要高并发的场景中,我们进一步演进,linux+nginx+mysql+php+lua+gearman+C 页面部分由nginx+fastcgi+php-fpm来展示 高并发的业务调用由ng

Gearman的使用

简介 Gearman提供了一种通用的程序框架来将你的任务分发到不同的机器或者不同的进程当中.它提供了你进行并行工作的能力.负载均衡处理的能力,以及在不同程序语言之间沟通的能力.Gearman能够应用的领域非常广泛,从高可用的网站到数据库的复制任务.总之,Gearman就是负责分发处理的中枢系统,它的优点包括 开源:Gearman免费并且开源而且有一个非常活跃的开源社区,如果你想来做一些贡献,请点击 . 多语言支持:Gearman支持的语言种类非常丰富.让我们能够用一种语言来编写Worker程序,

Ubuntu gearman 搭建

近阶段一直在查看项目里所使用到的一些技术点,发现了gearman,于是就动手搞了下环境,下面是来自百度百科关于gearman的介绍: Gearman是一个用来把工作委派给其他机器.分布式的调用更适合做某项工作的机器.并发的做某项工作在多个调用间做负载均衡.或用来在调用其它语言的函数的系统. 可用于sso 分发连接,但有弊端就是占用系统资源较多,例如CPU.内存. 1.更新 sudo apt-get update wget https://launchpad.net/gearmand/1.2/1.