转://ORA-00603,ORA-27501,ORA-27300,ORA-27301,ORA-27302故障案例一则
背景介绍：
这是一套windows的rac系统。数据库后台日志报ORA-00474:SMON process terminated with error。接着报ORA-00603,ORA-27501,ORA-27300,ORA-27301,ORA-27302等错误。
问题分析：
1.数据库alert日志
Fri Feb 28 04:12:09 2014
Reconfiguration started (old inc 32, new inc 34)
List of nodes:
Global Resource Directory frozen
* dead instance detected - domain 0 invalid = TRUE
Communication channels reestablished
Master broadcasted resource hash value bitmaps
Non-local Process blocks cleaned out
Fri Feb 28 04:12:09 2014
LMS 2: 0 GCS shadows cancelled, 0 closed
Fri Feb 28 04:12:10 2014
LMS 1: 0 GCS shadows cancelled, 0 closed
Fri Feb 28 04:12:11 2014
LMS 3: 0 GCS shadows cancelled, 0 closed
Fri Feb 28 04:12:12 2014
LMS 0: 2 GCS shadows cancelled, 2 closed
Set master node info
Submitted all remote-enqueue requests
Dwn-cvts replayed, VALBLKs dubious
All grantable enqueues granted
Post SMON to start 1st pass IR
Fri Feb 28 04:12:12 2014
Instance recovery: looking for dead threads
Fri Feb 28 04:12:12 2014
LMS 3: 10102 GCS shadows traversed, 0 replayed
Fri Feb 28 04:12:12 2014
LMS 1: 10083 GCS shadows traversed, 0 replayed
Fri Feb 28 04:12:13 2014
Beginning instance recovery of 1 threads
Fri Feb 28 04:12:14 2014
Errors in file d:\oracle\product\10.2.0\admin\uaprac\bdump\uaprac1_smon_6456.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27501: IPC error creating a port
ORA-27300: OS system dependent operation:IPC_CreateNamedSocket failed with status: 10049
ORA-27301: OS failure message: The requested address is not valid in its context.
ORA-27302: failure occurred at: initport_1从数据库的alert日志，可以看到rac实例发生了重新配置（另外一个节点重启），节点1的SMON进程开始恢复事务，在恢复事务的过程中创建ipc端口失败，Oracle数据库在创建端口的这一个过程中需要调用操作系统的一些函数，在调用操作系统的函数过程中遇到错误并返回错误代码10049。我们进一步看SMON trace的日志内容。
*** 2014-02-28 04:10:26.269
*** SERVICE NAME:(SYS$BACKGROUND) 2014-02-28 04:10:26.238
*** SESSION ID:(1091.1) 2014-02-28 04:10:26.238
IPCSendMsg: could not initiate send on conn 0x1f157b40 to node [uap : 4920 : 6200 : 223515], err 10054
IPCGetRequestInfo: failed a request rqh(0x13582080), type(6), status(2), bytes(0)
*** 2014-02-28 04:12:12.928
Start recovery for domain 0, valid = 0, flags = 0x0IPC_CreateNamedSocket: bind failed for [10.0.0.3 : 11716], err(10049)
IPCInitPort: could not create listening socket err 10049在这个trace里面，我们能够更加清楚的看到一些信息。比如bind failed for [10.0.0.3:11716],err(10049)。这个是什么意思呢？要了解这一块需要对socket编程有一定的了解。在socket编程里面有一个非常重要的函数叫bind。在进行网络通信的时候，必须把一个套接字和一个地址相关联。这个过程就是地址绑定的过程。在许多时候内核会为我们绑定一个地址，然而有时候用户可能需要自己来完成这个绑定的过程，以满足实际的需要。下面是bind函数的定义。
#include
int bind(int sockfd, struct sockaddr* addr, socklen_t addrlen)这里不一一介绍这些参数的含义，我们可以看到我们的trace中显示：bind函数在尝试绑定10.0.0.3和11716这个端口上出了问题，报了10049。那么操作系统的10049又是什么错误了。这里我们需要输入
C:\>net helpmsg 10049
The requested address is not valid in its context.这里我们看到请求的地址在它的上下文中无效。所以从这个地方推测，我们请求的IP地址10.0.0.3应该发生了变化。出现这种情况一般是网卡出现了问题或者是交换机路由器出现了问题。导致IP地址失效。
2.CRS日志
[ CSSD]2014-02-28 04:10:12.800 [5928] >TRACE: clssgmPeerDeactivate: node 2 (uap-sgs-db10), death 0, state 0x80000001 connstate 0xf
[ CSSD]2014-02-28 04:10:12.800 [6080] >WARNING: clssnmeventhndlr: Receive failure with node 2 (uap-sgs-db10), state 3, con(00000000022453A0), probe(0000000000000000), rc=11
[ CSSD]2014-02-28 04:10:12.800 [6080] >TRACE: clssnmDiscHelper: uap-sgs-db10, node(2) connection failed, con (00000000022453A0), probe(0000000000000000)
[ CSSD]2014-02-28 04:10:35.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 50 1.135363e-320artbeat fatal, eviction in 29.594 seconds
[ CSSD]2014-02-28 04:10:35.801 [5940] >TRACE: clssnmPollingThread: node uap-sgs-db10 (2) is impending reconfig, flag 1, misstime 30406
[ CSSD]2014-02-28 04:10:35.801 [5940] >TRACE: clssnmPollingThread: diskTimeout set to (57000)ms impending reconfig status(1)
[ CSSD]2014-02-28 04:10:36.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 50 1.138327e-320artbeat fatal, eviction in 28.594 seconds
[ CSSD]2014-02-28 04:10:50.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 75 1.145244e-320artbeat fatal, eviction in 14.594 seconds
[ CSSD]2014-02-28 04:10:51.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 75 1.146232e-320artbeat fatal, eviction in 13.594 seconds
[ CSSD]2014-02-28 04:10:59.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 90 1.151173e-320artbeat fatal, eviction in 5.594 seconds
[ CSSD]2014-02-28 04:11:00.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 90 1.152161e-320artbeat fatal, eviction in 4.594 seconds
[ CSSD]2014-02-28 04:11:01.801 [5940] >WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 901.153149e-320artbeat fatal, eviction in3.594 seconds
[ CSSD]2014-02-2804:11:02.801[5940]>WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 901.154137e-320artbeat fatal, eviction in2.594 seconds
[ CSSD]2014-02-2804:11:03.801[5940]>WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 901.155125e-320artbeat fatal, eviction in1.594 seconds
[ CSSD]2014-02-2804:11:04.801[5940]>WARNING: clssnmPollingThread: node uap-sgs-db10 (2) at 901.158090e-320artbeat fatal, eviction in0.594 seconds
[ CSSD]2014-02-2804:11:05.411[5940]>TRACE: clssnmPollingThread:Eviction started for node uap-sgs-db10 (2), flags 0x0001, state 3, wt4c 0[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmDoSyncUpdate:Initiating sync 109[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmDoSyncUpdate: diskTimeout set to (57000)ms
[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmSetupAckWait:Ack message type (11)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmSetupAckWait: node(1)is ALIVE
[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmSendSync: syncSeqNo(109)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmWaitForAcks:Ack message type(11), ackCount(1)[ CSSD]2014-02-2804:11:05.411[6080]>TRACE: clssnmHandleSync: diskTimeout set to (57000)ms
[ CSSD]2014-02-2804:11:05.411[6080]>TRACE: clssnmHandleSync:Acknowledging sync: src[1] srcName[uap-sgs-db09] seq[1] sync[109][ CSSD]2014-02-2804:11:05.411[5956]>USER: NMEVENT_SUSPEND [00][00][00][06][ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmWaitForAcks:done, msg type(11)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmDoSyncUpdate:Terminating node 2, uap-sgs-db10, misstime(60015) state(5)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmSetupAckWait:Ack message type (13)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmSetupAckWait: node(1)is ACTIVE
[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmWaitForAcks:Ack message type(13), ackCount(1)[ CSSD]2014-02-2804:11:05.411[6080]>TRACE: clssnmSendVoteInfo: node(1) syncSeqNo(109)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmWaitForAcks:done, msg type(13)[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmCheckDskInfo:Checking disk info...[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmCheckDskInfo: node 2, uap-sgs-db10, state 5with leader 2 has smaller cluster size 1;my cluster size 1with leader 1[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmEvict:Start[ CSSD]2014-02-2804:11:05.411[5920]>TRACE: clssnmEvict:Evicting node 2, uap-sgs-db10, birth 96, death 109, impendingrcfg 1, stateflags 0x1从CRS日志上我们可以看到，这里发生了节点驱逐的现象。因为节点1发现节点2无法通信，此时节点2也发现无法与节点1通信，最终整个实例决定剔除节点2。这里我们可以看到我们的网络心跳的misscount时间是60秒。在50%左右的时候开始出现提示。CRS软件进一步确认是操作系统网络层面出现了问题。
3.操作系统日志
-2-28 4:10:12 Tcpip 信息 无 4202 N/A UAP-SGS-DB09
系统检测到网卡 Broadcom BCM5709C NetXtreme II GigE (NDIS VBD Client) #2 与网络断开， 而且网卡的网络配置已经释放。如果网卡没有断开，这可能意味着它出现故障。请与您的供应商联系以获得更新的驱动程序。
-2-28 4:10:06 l2nd 警告 无 4 N/A UAP-SGS-DB09
Broadcom BCM5709C: The network link is down. Check to make sure the network cable is properly connected.最终我们发现在操作系统上4:10:06秒的时候网卡出现了down的情况。而我们的CRS是在4:10:36秒的时候出现50%的心跳告警。而最终在4:11:05秒，也就是达到misscount设置的60秒的时候剔除了节点2。
结论
整个过程我们已经分析完毕，正常情况下，网卡down掉直接剔除一个节点就行了，而在这儿最大的问题是IP地址瞬间丢失，虽然导致节点2顺利剔除，但是节点1的SMON进程在进行恢复的过程中，仍然调用了socket编程中的bind函数，该函数需要对IP地址、端口进行重新绑定，在这个绑定的过程中，如果这个IP和前面的IP是不一样的（比如禁用网卡，IP地址从10.0.0.3会变成0.0.0.0）。最终会导致bind失败，bind失败导致smon恢复事务失败，最终导致节点1也宕机。所以这个案例告诉我们，心跳网卡最好做多方面的冗余措施，才能避免这种问题的发生。
转://ORA-00603,ORA-27501,ORA-27300,ORA-27301,ORA-27302故障案例一则的更多相关文章
- Oracle的tnsnames.ora配置(PLSQL Developer)
首先打开tnsnames.ora的存放目录,一般为D:\app\Administrator\product\11.2.0\client_1\network\admin,就看安装具体位置了. 步骤阅读 ...
- PRCR-1065 Failed to stop resource ora.asm 处理
在网上看到的一些关闭Oracle Grid Infrastructure教程中,很多在关闭数据后就开始关闭ASM,结果提示如下的错误. [grid@rhvm1 ~]$ srvctl stop asm ...
- TNSNAMES.ORA 配置
上面的sqlnet.ora文件说明:SQLNET.AUTHENTICATION_SERVICES= (NTS)——这个表示采用os认证,在数据库服务器上,可以利用sqlplus “/ as sysdb ...
- ORACLE RAC 下非缺省端口监听配置(listener.ora tnsnames.ora)
不论是单实例还是RAC,对于非缺省端口下(1521)的监听器,pmon进程不会将service/instance注册到监听器,即不会实现动态注册.与单实例相同,RAC非缺省端口的监听器也是通过设置参数 ...
- Oracle Net Listener Parameters (listener.ora)（转）
12/20 7 Oracle Net Listener Parameters (listener.ora) This chapter provides a complete listing of th ...
- Failed to register Grid Infrastructure type ora.mdns.type
安装11g的集群软件的时候,在最后运行root.sh脚本时候,没有执行成功,最后提示如下错误: [root@r2 ~]# /u01/app/11.2.0/grid_1/root.sh Performi ...
- Oracle Ora 错误解决方案合集
注:本文来源于 < Oracle学习笔记 --- Oracle ORA错误解决方案 > ORA-00001: 违反唯一约束条件 (.)错误说明:当在唯一索引所对应的列上键入重复值时,会触发 ...
- [20170914]tnsnames.ora的管理.txt
[20170914]tnsnames.ora的管理.txt --//昨天朋友讲tnsnams.ora的内容太长了,而且许多不需要的.管理不方便.我记得以前写[20150409]tnsnames.ora ...
- 转载《Oracle的tnsnames.ora配置(PLSQL Developer)》
源地址:https://www.cnblogs.com/qq3245792286/p/6212617.html. 首先打开tnsnames.ora的存放目录,一般为D:\app\Administrat ...
- Oracle 错误总结及问题解决 ORA
参考地址 ORA-00001: 违反唯一约束条件 (.)错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常.ORA-00017: 请求会话以设置跟踪事件ORA-00018: 超出最大会话数O ...
随机推荐
- flume 1.8.0 开发基础
本文由云+社区发表 作者:皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集.聚合.传输到一个集中式数据存储的分布式.高可靠.高可用的系统. Apache Flume是Apac ...
- 隔离 docker 容器中的用户
笔者在前文<理解 docker 容器中的 uid 和 gid>介绍了 docker 容器中的用户与宿主机上用户的关系,得出的结论是:docker 默认没有隔离宿主机用户和容器中的用户.如果 ...
- spring原理案例-基本项目搭建 03 创建工程运行测试 spring ioc原理实例示例
下面开始项目的搭建 使用 Java EE - Eclipse 新建一 Dynamic Web Project Target Runtime 选 Apache Tomcat 7.0(不要选 Apache ...
- ZXing 生成、读取二维码（带logo）
前言 ZXing,一个支持在图像中解码和生成条形码(如二维码.PDF 417.EAN.UPC.Aztec.Data Matrix.Codabar)的库.ZXing(“zebra crossing”)是 ...
- ASP.net core 使用UEditor.Core 实现 ueditor 上传功能
ASP.net core 使用UEditor.Core 实现 ueditor 上传功能 首先通过nuget 引用UEditor.Core,作者github:https://github.com/bai ...
- Entity Framework 框架
微软官方提供的ORM技术的实现就是EF(Entity Framework)框架.EF的模式有三种分别是:Database First 数据库先行 ,Model First 模型先行 , Code F ...
- asp.net 建多个项目实现三层的实例——读取一张表中的记录条数
学习asp.net两周,通过学习发现,.net和php之间的区别还是蛮大的,比php要复杂一些,开始学习的有些吃力,后来跟着传智播客里的老师学习,渐渐的学到了一些东西. 今天要记录一下.net里的简单 ...
- python之编码与解码
编码 字符串被当作url提交时会被自动进行url编码处理,在python里也有个urllib.urlencode的方法,可以很方便的把字典形式的参数进行url编码.当url地址含有中文或者“/”的时候 ...
- array_merge和array+的区别分析
记得之前发现很多朋友用过array+array的方式,今天索性再聊下这样的话题:如何获取字符键名相同值不同的两个数组值集合?让我认真比较了下PHP中array_merge和array相加的区别 首先来 ...
- ceph集群搭建
CEPH 1.组成部分 1.1 monitor admin节点安装ceph-deploy工具 admin节点安装ceph-deploy 添加源信息 rm -f /etc/yum.repos.d/* w ...