灌溉梦想,记录脚步
« »
2009年8月18日关注学习

Gearman简介

Gearman1月16日发布了c语言的0.2 版本,gearman提供了一个work传递其他机器,或者调用其他机器功能的框架,通过gearman你可以实现并行的工作,负载均衡处理,调用其他语言的函数。它可以应用在多种场合,从高可用性的web服务到数据库复制,换句话说,它是分布式处理的中枢神经。gearman早期是sixpart实现的perl语言开发的版本,名字来源于"Manager",这一框架只负责分发要做的工作,本身并不做任何实际的工作。(这点与spread toolkit相同 译者注)。

怎样使用 Gearman?

一个简单的gearnan的体系包括三个部分,一个client,一个worker,一个job server,client负责创建并发起一个job请求,job server负责找到合适的worker,worker当然就是负责执行job,事实上是worker完成了实际的任务。gearman提供一个api从而你的client与worker能够与job server通信。我们来看一个简单的gearman应用实例。这一实例只完成一个功能,将一串字符串reverse。

首先我们要写一个client, “reverse_client”,代码实际上就是负责发起job请求,并返回结果。代码实际上就是连接job server,并发起一个请求 reverse函数,代码部分如下:

gearman_client_create(&client);
gearman_client_add_server(&client, "127.0.0.1", 0);
result= gearman_client_do(&client, "reverse", "Hello world!",
                          strlen("Hello world!"), &result_size, &ret);

这段代码首先初始化一个client实例,配置并连接一个本地的job server ,然后发起了一个reverse的请求,参数是 "Hello world!"函数名称与参数,这些与gearman的要求一致。现在gearman的将这个请求数据打包发给job server,job server会自动寻找合适的worker来执行。

让我们来看看worker的代码: 

void *reverse_function(gearman_job_st *job, void *cb_arg,
                       size_t *result_size, gearman_return_t *ret_ptr)
{
  const uint8_t *workload;
  uint8_t *result;
  size_t x;
  size_t y;

  workload= gearman_job_workload(job);
  *result_size= gearman_job_workload_size(job);
  result= malloc(*result_size);
  for (y= 0, x= *result_size; x; x--, y++)
    result[y]= workload[x - 1];
  *ret_ptr= GEARMAN_SUCCESS;
  return result;
}

gearman_worker_create(&worker);
gearman_worker_add_server(&worker, "127.0.0.1", 0);
gearman_worker_add_function(&worker, "reverse", 0, reverse_function, NULL);
while (1) gearman_worker_work(&worker);

这段代码定义了一个函数 “reverse_function” ,这个函数接收一个字符串,然后反向这个字符串的顺序,并且用一个worker的实例向job server注册了一个reverse函数。

当job server收到请求reverse的时候,就会传递相关的数据给这个worker,worker会执行reverse_functio,将执行结果返回job server,最后传递给初始请求者。

实际上client与worker提供了job管理系统的交互与管理的大部分工作,你需要做的不过是完成client与worker的部分代码。在这一版本的examples目录下,提供了以上这个例子。

gearman都能用来干什么?

gearman可以用在各个方面,最简单就是在不同语言之间架起一座桥梁。比如你可能希望你的php程序调用一个c 函数,那么用gearman就可以实现了,当然了实际你可以通过写一个php扩展来实现同样的工作,但是比如你要php调用java,perl,或者python那么,gearman就非常棒了。

gearman另一个应用方面是负载分担,你可以将worker放在不同的服务器(或者一些列服务器)上,比如你的php程序需要图片转换,但是不希望本地服务器有太多的这样图片转换的进程,那么你可以建立一系列服务器,在上面加载worker处理图片转换。这样你的web服务器将不受图片转换的影响,同时你得到了负载均衡的功能,因为job server会在请求到来的时候,将这个请求发给空闲的worker.同样对于多核的服务器,你可以在同一机器上创建同样数目的worker. 你可能担心,job server处于一个中心,那么这会是一个单点的瓶颈,如果死了,会怎么样?对于这样的情况,你可以运行多个job server。这样如果一个job server down了,client和worker会自动迁移到另一台job server上。

Version 0.2 of the Gearman Server and C library released! You can find it on the downloads page or at Launchpad. You can also find new MySQL UDFs on the downloads page or in Launchpad.

日志信息 »

该日志于2009-08-18 18:38由 kevin 发表在关注学习分类下, 你可以发表评论。除了可以将这个日志以保留源地址及作者的情况下引用到你的网站或博客,还可以通过RSS 2.0订阅这个日志的所有评论。

发表回复