早些时候,一直有个疑问,就是比如你从前端发一个操作之后,后台为什么能够及时处理你的东西呢?当然了,我说的不是,服务器为什么能够立即接收到你的请求之类高大上的东西。而是,假设你用异步去做一个事情,而后台有一个处理程序在处理你的申请,你的目的自然是不想让操作阻塞,所以处理肯定是处理程序主动触发的过程。那么怎样做能够让其能够及时处理问题呢? 确实也困惑了我许久。(我相信也有不少同学会有类似疑问)

  所以我觉得有必要解解惑。

  需求示例1: 用户请求某操作时,需要与此同时给用户发个邮件,但是这个邮件可能会很耗时,在不使用异步线程的情况下(事实上不是所有的语言都支持多线程),怎么样让用户得到快速响应,且邮件稍后即可送达?

  需求示例2:在高并发情况下,需要对某数据进行减操作(比如商品库存,如果超出了库存值,则将无货可发),怎样保证用户先到先得,后到就没有?

  针对这两个问题,解决办法自然是多的。但是本文只说一个思路,那就是主题,消息队列!

    当需要给用户发送邮件时,只需将该请求发送到后台进程中,后台进程进行逐个发送即可。

    当大量用户进来抢商品时,将该请求放入队列中,后台进程逐个相减,减到0时,后续用户将提示抢不到了。(当然,这有很多后续问题要处理,也看起来不一定是个好方案,但并不影响咱们发挥)

  看起来,前面的解决方案很合理。但是,具体怎么样做呢?前台申请,与后台处理之间,总得有个什么东西联系起来吧。没错,就是消息队列了。消息队列自然需要消息中间件,简单的,咱们就使用redis做中间件吧,简单快速搞得定。

  具体实施方案就是:1. 各处的用户进行相应的操作请求,然后顺便将消息写入redis,(以list形式写入,天然的队列); 2. 后台进程依次从redis中读取消息,进行相应数据处理(注意如何依次处理是关键)。 3. 将结果通知给用户或者不通知。(本处将不通知)

  示例代码如下(php实现):

<?php
// send 请求方,写入消息
$redis = new Redis();
$redis->connect("127.0.0.1", "6379", 3); $msgKey = "my.test.msgKey";
$value = "hello,world." . rand(0, 99999999);
$redis->lPush($msgKey, $value); // 将请求送入队列中,等后台消费
echo "lPush {$msgKey} -> {$value}";

  后台进程进行依次处理,一般来说有两个方案: 1. 通过系统进行定时调度,每次调度,则执行一段消息处理(此种方案的缺点明显,需依赖系统处理,且将会是不及时的); 2. 通过自身调度,使自己一直处理运行中状态,当发现有新消息到来时,立即进行处理(本处讨论的是此种方案)。处理代码如下:

<?php
// recieve 处理程序
$redis = new Redis();
$redis->connect("127.0.0.1", "6379", 3); $msgKey = "my.test.msgKey"; while(true) {
$stackTop = $redis->rPop($msgKey);
if($stackTop) {
// do sth useful
echo $stackTop . "\r\n";
} else {
usleep(200000); // 如果没有消息需要处理,则睡眠0.2秒等待
}
}

  写好后,只要在命令行将该脚本跑起来即可:

php  recieve.php &

  其实原理很简单,就是一个while死循环,然后一直在查询 消息状态,有就处理,没有就稍微等一下再查。

  如果启动多个后台程序,那么,就相当于有多个消费者了,从而加快了处理速度。(生产者 -> 消费者 简单模型)

  那么,问题在哪里?为什么刚开始的时候没想到这样处理呢?

  我有两个疑问:

     1. 用户while死循环不会导致死机吗?

     2. 我想修改代码里的东西,怎样才能生效?

  针对第一个问题,如果是没有 sleep 限制的话,机器是有可能死机的。在调用 sleep后,cpu会转到其他进程上进行事务处理,从而不会有问题。sleep时间过长,则会有明显的时间停顿现象,即用户操作无法得到及时响应。sleep时间过短,则会导致cpu占用过高,从而引发其他一系列问题。因此设置一个合适的sleep时间是有必要的。本处设置的0.2秒,经查看cpu状态,占用为0%,所以没问题。而且0.2秒在用户看来,是没有什么影响的。

  第二个问题,修改了代码,如何生效?重启就好了嘛。

ps -ef | grep php      # 找出运行代码的pid
kill - # 将进程kill掉
php recieve.php # 重新运行代码即可

  通过该种自身轮询的方式,从而达到了及时处理任务的方式。

  死循环广泛应用于各服务中,只是我们都没发现。

  这也换一个现实的问题角度理解,只有自己一直活着,才有可能服务于别人。

  那么,假如每个程序跑起来后,都一直存活着,CPU不就完蛋了? 是的,这就是计算机所能运行的服务有限的原因。CPU可以调度各进程的执行,当然进程数是有限的,只要在这有限有量以内,提供几个死循环还是可以的。(注意,死循环是保持自身活跃的一种方式,但并非所有的服务都是靠死循环来保持自身的活跃的)

  信号量?是一种有效地处理本机通知的一种机制,且听下回分解。

while(true)应用 之 实现自己的消息队列的更多相关文章

  1. while(true)应用之 实现自己的消息队列

    早些时候,一直有个疑问,就是比如你从前端发一个操作之后,后台为什么能够及时处理你的东西呢?当然了,我说的不是,服务器为什么能够立即接收到你的请求之类高大上的东西.而是,假设你用异步去做一个事情,而后台 ...

  2. RabbitMQ消息队列

    RabbitMQ消息队列 !!!  注意,保证服务器的内存足够,磁盘足够,以及删除/etc/hosts中没有用的dns解析 # 优点,能够保证消息数据持久化,不丢失,支持高并发 安装学习rabbitm ...

  3. 第二百九十二节,RabbitMQ多设备消息队列-Python开发

    RabbitMQ多设备消息队列-Python开发 首先安装Python开发连接RabbitMQ的API,pika模块 pika模块为第三方模块  对于RabbitMQ来说,生产和消费不再针对内存里的一 ...

  4. RabbitMQ,Apache的ActiveMQ,阿里RocketMQ,Kafka,ZeroMQ,MetaMQ,Redis也可实现消息队列,RabbitMQ的应用场景以及基本原理介绍,RabbitMQ基础知识详解,RabbitMQ布曙

    消息队列及常见消息队列介绍 2017-10-10 09:35操作系统/客户端/人脸识别 一.消息队列(MQ)概述 消息队列(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以 ...

  5. 消息队列rabbitmq/kafka

    12.1 rabbitMQ 1. 你了解的消息队列 rabbitmq是一个消息代理,它接收和转发消息,可以理解为是生活的邮局.你可以将邮件放在邮箱里,你可以确定有邮递员会发送邮件给收件人.概括:rab ...

  6. 消息队列rabbitmq rabbitMQ安装

    消息队列rabbitmq   12.1 rabbitMQ 1. 你了解的消息队列 生活里的消息队列,如同邮局的邮箱, 如果没邮箱的话, 邮件必须找到邮件那个人,递给他,才玩完成,那这个任务会处理的很麻 ...

  7. 消息队列——RabbitMQ学习笔记

    消息队列--RabbitMQ学习笔记 1. 写在前面 昨天简单学习了一个消息队列项目--RabbitMQ,今天趁热打铁,将学到的东西记录下来. 学习的资料主要是官网给出的6个基本的消息发送/接收模型, ...

  8. 【原创经验分享】WCF之消息队列

    最近都在鼓捣这个WCF,因为看到说WCF比WebService功能要强大许多,另外也看了一些公司的招聘信息,貌似一些中.高级的程序员招聘,都有提及到WCF这一块,所以,自己也关心关心一下,虽然目前工作 ...

  9. Java消息队列--ActiveMq 实战

    1.下载安装ActiveMQ ActiveMQ官网下载地址:http://activemq.apache.org/download.html ActiveMQ 提供了Windows 和Linux.Un ...

随机推荐

  1. Fibonacci Check-up

    Fibonacci Check-up Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) ...

  2. redis源码分析之发布订阅(pub/sub)

    redis算是缓存界的老大哥了,最近做的事情对redis依赖较多,使用了里面的发布订阅功能,事务功能以及SortedSet等数据结构,后面准备好好学习总结一下redis的一些知识点. 原文地址:htt ...

  3. JavaScript基础一(js基础函数与运算符)

    [使用js的三种方式] 1.在HTML标签中,直接内嵌js(并不提倡使用) <button onclick=" alert('点就点')"> 点我啊</butto ...

  4. Log4j 2翻译 Garbage-free Steady State Logging(稳定的以不会生成垃圾的状态来记录日志)

    本人菜鸟,在学习Log4j 2 的时候做的一些笔记---对"官方网站"的翻译,部分内容自己也不懂,希望大家指点 Garbage collection pauses are a co ...

  5. visual studio 2013使用github获取代码

    如图点击"视图""团队资源管理器".   点击主页上方的那个插头形状按钮"连接到团队项目".点击"克隆"   然后在克隆 ...

  6. 机器学习数学|微积分梯度jensen不等式

    机器学习中的数学 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记 索引 微积分,梯度和Jensen不等式 Tay ...

  7. ldap数据库--ODSEE--ACI

    查看跟DN下的aci ldapsearch -h hostname -p port -D "cn=Directory Manager" -w - -b "BASE_DN& ...

  8. Oracle与Sql server的区别

    一直搞不明白Oracle数据库和sql server的区别,今天我特意查资料把他们的区别整理出来 Oracle数据库:Oracle Database,又名Oracle RDBMS,或简称Oracle. ...

  9. gcc调试 学习1

    gdb进入调试 b 6 在第6行设置断点 d 2 删除num为2的断点 info b 查看断点 run 运行 n 执行到断点1 s 如果下一条是函数就进入函数 n 继续执行 print i  输出i的 ...

  10. 从零一起学Spring Boot之LayIM项目长成记(五)websocket

    前言 距离上一篇已经比较久的时间了,项目也是开了个头.并且,由于网上的关于Spring Boot的websocket讲解也比较多.于是我采用了另外的一个通讯框架 t-io 来实现LayIM中的通讯功能 ...