原文来自于:http://www.searchtb.com/2014/02/apc-lock-php-fpm.html

最近线上产品出现了502错误。一般出现502错误,都是php-fpm 进程处理请求时出现异常导致的。

首先,查看了php-fpm 的进程数。发现php-fpm的进程数已经到达了php-fpm.conf中设置的最大值。最近流量没有特别的变动,这么多php-fpm进程,肯定有问题。

​然后,用pstack命令查看这些php-fpm进程都在干啥。
​[hailong.xhl@s010002.cm8 ~]$ sudo pstack 11740
Thread 3 (Thread 0x413bb940 (LWP 11741)):
#0 0x0000003cf92d4018 in epoll_wait () from /lib64/libc.so.6
#1 0x00007f4a0ffec116 in epoll_poll ()
#2 0x00007f4a0ffea81d in ez_run () from /home/admin/opt/easy/lib/libeasy.so.0
#3 0x00007f4a0ffe5b63 in easy_io_on_thread_start ()
#4 0x0000003cf9e064a7 in start_thread () from /lib64/libpthread.so.0
#5 0x0000003cf92d3c2d in clone () from /lib64/libc.so.6
Thread 2 (Thread 0x425a2940 (LWP 11742)):
#0 0x0000003cf92d4018 in epoll_wait () from /lib64/libc.so.6
#1 0x00007f4a0ffec116 in epoll_poll ()
#2 0x00007f4a0ffea81d in ez_run () from /home/admin/opt/easy/lib/libeasy.so.0
#3 0x00007f4a0fff1772 in easy_baseth_on_start ()
#4 0x0000003cf9e064a7 in start_thread () from /lib64/libpthread.so.0
#5 0x0000003cf92d3c2d in clone () from /lib64/libc.so.6
Thread 1 (Thread 0x7f4a17438710 (LWP 11740)):
#0 0x0000003cf9e0d174 in __lll_lock_wait () from /lib64/libpthread.so.0
#1 0x0000003cf9e08aca in _L_lock_1034 () from /lib64/libpthread.so.0
#2 0x0000003cf9e0898c in pthread_mutex_lock () from /lib64/libpthread.so.0
#3 0x00007f4a135eeb19 in apc_pthreadmutex_lock ()
#4 0x00007f4a135e7fb8 in apc_cache_find_slot ()
#5 0x00007f4a135e8323 in apc_cache_find ()
#6 0x00007f4a135edd27 in my_compile_file ()
#7 0x000000000050c651 in phar_compile_file ()
#8 0x00000000006185ec in zend_execute_scripts ()
#9 0x00000000005c778d in php_execute_script ()
#10 0x00000000006a592d in main ()
根据上面的堆栈信息,我们可以肯定php的apc模块申请互斥锁权限时,一直获取不到互斥锁权限,一直等待,导致卡死了。

接下来,我们查下,是什么导致apc模块一直拿不到互斥锁权限。我们使用gdb排查,最终查出互斥锁的权限被进程号11274的进程占用着。查杀步骤如下:
​[hailong.xhl@s010002.cm8 ~]$ sudo gdb -p 26748
(gdb) thread 2
(gdb) bt
#0 0x0000003cf9e0d174 in __lll_lock_wait () from /lib64/libpthread.so.0
#1 0x0000003cf9e08aca in _L_lock_1034 () from /lib64/libpthread.so.0
#2 0x0000003cf9e0898c in pthread_mutex_lock () from /lib64/libpthread.so.0
#3 0x00007f4a135eeb19 in apc_pthreadmutex_lock (lock=0x7f4a0446e088) at /home/admin/APC-3.1.9/apc_pthreadmutex.c:72
#4 0x00007f4a135e7fb8 in apc_cache_find_slot (cache=0x27fc100, key=
{data = {file = {device = 43379392, inode = 48}, user = {identifier = 0x295eac0 “/home/admin/wanke/wanke_htdocs/openapi/index.php”, identifier_len = 48}, fpfile = {fullpath = 0x295eac0 “/home/admin/wanke/wanke_htdocs/openapi/index.php”, fullpath_len = 48}}, h = 5063011506047779259, mtime = 1392709731, type = 3 ’03′, md5 = “0200000000000032*’0000″}, t=1392709731) at /home/admin/APC-3.1.9/apc_cache.c:640
#5 0x00007f4a135e8323 in apc_cache_find (cache=0x7f4a0446e088, key=
{data = {file = {device = 43379392, inode = 48}, user = {identifier = 0x295eac0 “/home/admin/xxxx/index.php”, identifier_len = 48}, fpfile = {fullpath = 0x295eac0 “/home/adminxxxxindex.php”, fullpath_len = 48}}, h = 5063011506047779259, mtime = 1392709731, type = 3 ’03′, md5 = “0200000000000032*’0000″}, t=0) at /home/admin/APC-3.1.9/apc_cache.c:695
#6 0x00007f4a135edd27 in my_compile_file (h=0x7fffe1896080, type=8) at /home/admin/APC-3.1.9/apc_main.c:529
#7 0x000000000050c651 in phar_compile_file ()
#8 0x00000000006185ec in zend_execute_scripts ()
#9 0x00000000005c778d in php_execute_script ()
#10 0x00000000006a592d in main ()
(gdb) print (pthread_mutex_t *) 0x7f4a0446e088
$1 = (union {…} *) 0x7f4a0446e088
(gdb) print $1.__data.__owner
$11 = 11274
(gdb)

那么为啥11274进程一直占用互斥锁权限,不释放呢?最终发现这个进程已经退出了。11274的进程为啥会退出呢?在php-fpm 的日志中找到了答案。
[18-Feb-2014 15:48:45] NOTICE: [pool www] child 11274 started
[18-Feb-2014 15:48:45] WARNING: [pool www] child 11274 exited on signal 11 (SIGSEGV) after 0.089068 seconds from start
显然,11274进程运行过程中遇到了段错误,导致进程异常退出了。继续追查,发现是php的hsf扩展在启动初始化的时候遇到内存问题,导致段错误。

现在原因已经很明确了,是因为php扩展hsf启动的时候发生内存错误,导致php-fpm进程异常退出。退出的进程当时拥有apc的互斥锁。但是退出时,由于是异常退出,没能释放互斥锁。导致php-fpm其他进程无法获取apc的互斥锁。导致死锁。

那么如何解决呢?
1.与惠新宸(apc维护者之一)沟通,他建议不要再使用apc,建议换成opcache。因为apc已经基本不再维护。之前也做过opcache和apc的对比。可以看下这篇文章。
php的-zend-opcache-vs-apc-性能比较
2.hsf相关的问题,已经提交相关开发人员去完善。
3.如果你对apc情有独钟,不离不弃。那建议看看下面的文章,自己尝试修改下源码修复这个问题。

https://bugs.php.net/bug.php?id=46025

https://bugs.php.net/patch-display.php?bug_id=59281&patch=APC-3.1.9-bailout_deadlock.patch&revision=latest

转:小心,apc可能导致php-fpm罢工!的更多相关文章

  1. php缓存模块apc可能导致php-fpm终止

    如果你的网站出现502错误.同时你网站中又使用了apc模块来做缓存处理.那么这篇文章兴许能帮到你. 首先,查看了php-fpm 的进程数. 发现php-fpm的进程数已经到达了php-fpm.conf ...

  2. 【SQL】小心字符串拼接导致长度爆表

    请看代码: DECLARE @max VARCHAR(max) SET @max='aaa...' --这里有8000个a +'bb' --连接一个varchar常量或变量 SELECT LEN(@m ...

  3. 解决由OpenShift自带的APC加速器造成的代码无法及时生效的问题

    如果你在使用你的Openshift时出现了这样的问题,那就说明APC加速器导致了此故障 1.上传后的代码运行效果没有变化 2.Wordpress翻来覆去自己重复升级一个版本(←Wordpress在自嗨 ...

  4. 深入Windows APC

      本篇原文为 Depths of Windows APC ,如果有良好的英文基础,可以点击该链接进行阅读.本文为我个人:寂静的羽夏(wingsummer) 中文翻译,非机翻,著作权归原作者 Rbmm ...

  5. 转:如何找出发生SEGV内存错误的程序

    原文来自于:http://www.searchtb.com/2014/03/%E5%A6%82%E4%BD%95%E6%89%BE%E5%87%BA%E5%8F%91%E7%94%9Fsegv%E5% ...

  6. C++智能指针详解

    本文出自http://mxdxm.iteye.com/ 一.简介 由于 C++ 语言没有自动内存回收机制,程序员每次 new 出来的内存都要手动 delete.程序员忘记 delete,流程太复杂,最 ...

  7. Android内存优化-内存泄漏的几个场景以及解决方式

    转自:http://blog.csdn.net/a910626/article/details/50849760 一.什么是内存泄漏 在Java程序中,如果一个对象没有利用价值了,正常情况下gc是会对 ...

  8. 编写高质量代码改善C#程序的157个建议读书笔记【1-10】

    开篇 学生时代,老师常说,好记性不如烂笔头,事实上确实如此,有些知识你在学习的时候确实滚瓜烂熟,但是时间一长又不常用了,可能就生疏了,甚至下次有机会使用到的时候,还需要上网查找资料,所以,还不如常常摘 ...

  9. WaitForMultipleObject与MsgWaitForMultipleObjects用法

    http://blog.csdn.net/byxdaz/article/details/5638680 用户模式的线程同步机制效率高,如果需要考虑线程同步问题,应该首先考虑用户模式的线程同步方法. 但 ...

随机推荐

  1. c#基础语言编程-Path和Directory

    引言 在程序常会对文件操作,在对文件操作中需要对文件路径的进行定位,在.Net中针对寻找文件提供两个静态类以供调用,Path和Directory. Path类 来自命名空间SYstem.IO,Path ...

  2. DevExpress控件 GridControl 单元格编辑 回车

    using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...

  3. winform Execl数据 导入到数据库(SQL) 分类: WinForm C# 2014-05-09 20:52 191人阅读 评论(0) 收藏

    首先,看一下我的窗体设计: 要插入的Excel表: 编码 名称 联系人 电话 省市 备注 100 100线 张三 12345678910 北京 测试 101 101线 张三 12345678910 上 ...

  4. 【Android - 框架】之可悬浮列表StickyHeadersRecyclerView

    这是timehop的GitHub上发表的一个控件框架,大家可以去参考它的[GitHub]. 这里先贴出GitHub上提供的效果图: 要使用这个框架,我们需要首先导入它的依赖: compile 'com ...

  5. Windows 服务卸载之后 重新安装提示 “指定的服务已标记为删除”

    背景:        将一个项目做成一个windows服务,在调试的时候,需要卸载.安装该服务,但提示下面的错误:“指定的服务已标记为删除”,进入服务管理界面,启动自己注册的服务,无法手动更改成启用模 ...

  6. [RxJS] Transformation operator: bufferToggle, bufferWhen

    bufferToggle(open: Observable, () => close: Observalbe : Observalbe<T[]>) bufferToggle take ...

  7. 如何进去bios设置

    1.BIOS是英文"Basic Input Output System"的缩略语,直译过来后中文名称就是"基本输入输出系统".其实,它是一组固化到计算机内主板上 ...

  8. [转] Linux strace 简介

    http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316692.html 简介 strace常用来跟踪进程执行时的系统调用和所接收的信号. 在L ...

  9. 关于javascript dom扩展:Selector API

    众多javascript库中最常用的一项功能,就是根据css选择符选择与某个模式匹配的DOM元素.之前由于对javascript的认识较低,对javascript对DOM操作还停留在getElemen ...

  10. 一次优化web项目的经历记录(三)

    一次优化web项目的经历记录 这段时间以来的总结与反思 前言:最近很长一段时间没有更新博客了,忙于一堆子项目的开发,严重拖慢了学习与思考的进程. 开水倒满了需要提早放下杯子,晚了就会烫手,这段时间以来 ...