php 使用beanstalk 消息队列

Beanstalkd 消息队列

一.基本信息
Beanstalkd，一个高性能、轻量级的分布式内存队列系统，最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟，支持过有9.5 million用户的Facebook Causes应用。后来开源，现在有PostRank大规模部署和使用，每天处理百万级任务。Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格，所以使用过memcached的用户会觉得Beanstalkd似曾相识。

二 特性

Beanstalkd 是一个轻量级消息中间件，它最大特点是将自己定位为基于管道  (tube) 和任务 (job) 的工作队列 (work-queue)：

Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。

它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议，具有有很高的性能。

尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时，当前任务状态能够从纪录的本地 binlog 中恢复。

1）管道（tube）

管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。

2）任务（job）

Beanstalkd 用任务 (job) 代替消息 (message) 的概念。与消息不同，任务有一系列状态：

READY- 需要立即处理的任务，当延时 (DELAYED) 任务到期后会自动成为当前任务；
DELAYED- 延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 DELAYED 队列延迟执行；
RESERVED- 已经被消费者获取, 正在执行的任务。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成；
BURIED- 保留的任务: 任务不会被执行，也不会消失，除非有人把它 "踢" 回队列；
DELETED- 消息被彻底删除。Beanstalkd 不再维持这些消息。

3）任务优先级 (priority)

任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn).

4）延时任务 (delay)

有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时；或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。

5）任务超时重发 (time-to-run)

Beanstalkd 把任务返回给消费者以后：消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态；否则 Beanstalkd 会认为消息处理失败，然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run).

6）任务预留 (buried)

如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务，并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。

二 安装

请看安装教程：http://www.cnblogs.com/sien6/p/8177023.html

三 Beanstalkd 协议

Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。

这些命令可以简单的分成三组:

1）生产类 - use <tube> / put <priority> <delay> <ttr> [bytes]:

生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).

2）消费类  - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id>

消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务，这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。

3） 维护类 - peek job / peek delayed / peek ready / peek buried / kick <n>

用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。

被保留 (buried) 的任务可以用 kick 命令 "踢" 回队列。

应用：

生成者：

require_once 'beanstalk/Client.php';
$config = include 'beanstalk/config.php';
$beanstalk = new Beanstalk\Client($config);
$beanstalk->connect();
$beanstalk->useTube('u_tube'); //使用u_tabe 管道
$param = $argv;
$beanstalk->put(,,,json_encode($param));

消费者：

require_once 'beanstalk/Client.php';
$config = include 'beanstalk/config.php';
$Beanstalk= new Beanstalk\Client($config);
$Beanstalk->connect();
$Beanstalk->useTube('u_tube');
$Beanstalk->watch('u_tube');    // 监控u_tube 通道
$Beanstalk->ignore('default');  // 取消默认通道监控
 
while(true){    // 持续监控
    $job = $Beanstalk->reserve();   // 取出待执行任务，并执行
//    print_r($Beanstalk->statsTube('foo'));
    if($job){
        $Beanstalk->bury($job['id'],'u_tube');  // 任务加入保留队列
    }
//    $Beanstalk->kick(3);  // 开启保留队列
    $Beanstalk->delete($job['id']);     //删除吧任务
}

参考：http://blog.csdn.net/black_ox/article/details/24792489

https://www.cnblogs.com/fuland/p/4245386.html