环境：RHEL 5.7 + Oracle 10.2.0.5 RAC

很多年前的一套测试环境，今天发现集群无法启动。手工尝试启动crs，集群日志也无任何输出。进一步检查集群配置：

  1. [oracle@rac1-server rac1-server]$ ocrcheck
  2. Status of Oracle Cluster Registry is as follows :
  3.          Version                  :          2
  4.          Total space (kbytes)     :      96144
  5.          Used space (kbytes)      :       3852
  6.          Available space (kbytes) :      92292
  7.          ID                       : 1953645605
  8.          Device/File Name         : /dev/raw/raw14
  9.                                     Device/File integrity check succeeded
  10.          Device/File Name         : /dev/raw/raw15
  11.                                     Device/File integrity check succeeded
  13.          Cluster registry integrity check succeeded
  15. [oracle@rac1-server rac1-server]$ crsctl query css votedisk
  16.  0.     0    jy2
  18. located 1 votedisk(s).

确认Votedisk 存在问题，这个jy2不知道是怎么来的，反正是没有有效的votedisk，根据实际环境，我这里尝试加入合法的votedisk后恢复正常：

  1. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw11
  2. Cluster is not in a ready state for online disk addition
  3. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw11 -f
  4. unrecognized parameter -f.
  5. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw11 -force
  6. Now formatting voting disk: /dev/raw/raw11
  7. successful addition of votedisk /dev/raw/raw11.
  8. [root@rac1-server ~]#
  9. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw12 -force
  10. Now formatting voting disk: /dev/raw/raw12
  11. successful addition of votedisk /dev/raw/raw12.
  12. [root@rac1-server ~]#
  13. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw13 -force
  14. Now formatting voting disk: /dev/raw/raw13
  15. Write failed: Broken pipe

因为我测试环境是ssh跳转的，会话断开，再次登陆查询：

  1. [oracle@rac1-server ~]$ crsctl query css votedisk
  2.  0.     0    /dev/raw/raw13
  3.  1.     0    /dev/raw/raw11
  4.  2.     0    /dev/raw/raw12
  5.  3.     0    /dev/raw/raw13

发现有两个/dev/raw/raw13，尝试删除：

  1. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl delete css votedisk /dev/raw/raw13 -force
  2. successful deletion of votedisk /dev/raw/raw13.
  3. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl query css votedisk
  4.  0.     0    /dev/raw/raw11
  5.  1.     0    /dev/raw/raw12
  6.  2.     0    /dev/raw/raw13
  8. located 3 votedisk(s).
  9. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl delete css votedisk /dev/raw/raw13 -force
  10. successful deletion of votedisk /dev/raw/raw13.
  11. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl query css votedisk
  12.  0.     0    /dev/raw/raw11
  13.  1.     0    /dev/raw/raw12
  15. located 2 votedisk(s).
  16. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl add css votedisk /dev/raw/raw13 -force
  17. Now formatting voting disk: /dev/raw/raw13
  18. Write failed: Broken pipe
  20. [root@rac1-server ~]# /s01/oracle/product/10.2.0/crs_1/bin/crsctl query css votedisk
  21.  0.     0    /dev/raw/raw13
  22.  1.     0    /dev/raw/raw11
  23.  2.     0    /dev/raw/raw12

不确认这里Write failed: Broken pipe会不会有潜在影响，实际我查询和使用都是正常的。

再次尝试启动crs可以成功。

从集群日志中可以看到正常使用了我们加进去的votedisk：

  1. --节点1集群alert日志：
  2. 2019-12-12 13:27:37.806
  3. [cssd(7734)]CRS-1603:CSSD on node rac1-server shutdown by user.
  4. 2019-12-12 13:28:15.035
  5. [cssd(13146)]CRS-1605:CSSD voting file is online: /dev/raw/raw13. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/cssd/ocssd.log.
  6. 2019-12-12 13:28:15.048
  7. [cssd(13146)]CRS-1605:CSSD voting file is online: /dev/raw/raw11. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/cssd/ocssd.log.
  8. 2019-12-12 13:28:15.058
  9. [cssd(13146)]CRS-1605:CSSD voting file is online: /dev/raw/raw12. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/cssd/ocssd.log.
  10. 2019-12-12 13:28:22.162
  11. [cssd(13146)]CRS-1601:CSSD Reconfiguration complete. Active nodes are rac1-server .
  12. 2019-12-12 13:28:22.610
  13. [evmd(12526)]CRS-1401:EVMD started on node rac1-server.
  14. 2019-12-12 13:28:22.678
  15. [crsd(12662)]CRS-1005:The OCR upgrade was completed. Version has changed from 169870592 to 169870592. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/crsd/crsd.log.
  16. 2019-12-12 13:28:22.679
  17. [crsd(12662)]CRS-1012:The OCR service started on node rac1-server.
  18. 2019-12-12 13:28:23.757
  19. [crsd(12662)]CRS-1201:CRSD started on node rac1-server.
  20. 2019-12-12 13:28:24.172
  21. [crsd(12662)]CRS-1205:Auto-start failed for the CRS resource ora.rac2-server.ASM2.asm. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/crsd/crsd.log.
  22. 2019-12-12 13:28:24.199
  23. [crsd(12662)]CRS-1205:Auto-start failed for the CRS resource ora.jy.jy2.inst. Details in /s01/oracle/product/10.2.0/crs_1/log/rac1-server/crsd/crsd.log.
  24. 2019-12-12 13:28:36.180
  25. [cssd(13146)]CRS-1601:CSSD Reconfiguration complete. Active nodes are rac1-server rac2-server .
  27. --节点2集群alert日志：
  28. 2019-12-12 13:30:23.828
  29. [cssd(6736)]CRS-1605:CSSD voting file is online: /dev/raw/raw13. Details in /s01/oracle/product/10.2.0/crs_1/log/rac2-server/cssd/ocssd.log.
  30. 2019-12-12 13:30:23.845
  31. [cssd(6736)]CRS-1605:CSSD voting file is online: /dev/raw/raw11. Details in /s01/oracle/product/10.2.0/crs_1/log/rac2-server/cssd/ocssd.log.
  32. 2019-12-12 13:30:23.870
  33. [cssd(6736)]CRS-1605:CSSD voting file is online: /dev/raw/raw12. Details in /s01/oracle/product/10.2.0/crs_1/log/rac2-server/cssd/ocssd.log.
  34. 2019-12-12 13:30:24.768
  35. [cssd(6736)]CRS-1601:CSSD Reconfiguration complete. Active nodes are rac1-server rac2-server .
  36. 2019-12-12 13:30:25.463
  37. [crsd(6199)]CRS-1012:The OCR service started on node rac2-server.
  38. 2019-12-12 13:30:25.478
  39. [evmd(6116)]CRS-1401:EVMD started on node rac2-server.
  40. 2019-12-12 13:30:27.101
  41. [crsd(6199)]CRS-1201:CRSD started on node rac2-server.

最后检查下集群状态确认正常：

  1. [oracle@rac1-server ~]$ crs_stat -t
  2. Name           Type           Target    State     Host
  3. ------------------------------------------------------------
  4. ora.jy.db      application    ONLINE    ONLINE    rac2-server
  5. ora....y1.inst application    ONLINE    ONLINE    rac1-server
  6. ora....y2.inst application    ONLINE    ONLINE    rac2-server
  7. ora....SM1.asm application    ONLINE    ONLINE    rac1-server
  8. ora....ER.lsnr application    ONLINE    ONLINE    rac1-server
  9. ora....ver.gsd application    ONLINE    ONLINE    rac1-server
  10. ora....ver.ons application    ONLINE    ONLINE    rac1-server
  11. ora....ver.vip application    ONLINE    ONLINE    rac1-server
  12. ora....SM2.asm application    ONLINE    ONLINE    rac2-server
  13. ora....ER.lsnr application    ONLINE    ONLINE    rac2-server
  14. ora....ver.gsd application    ONLINE    ONLINE    rac2-server
  15. ora....ver.ons application    ONLINE    ONLINE    rac2-server
  16. ora....ver.vip application    ONLINE    ONLINE    rac2-server
  17. [oracle@rac1-server ~]$

案例：Oracle 10g RAC 集群无法启动的更多相关文章

  1. Oracle 11gR2 RAC集群服务启动与关闭总结

    引言:这写篇文章的出处是因为我的一名学生最近在公司搭建RAC集群,但对其启动与关闭的顺序和原理不是特别清晰,我在教学工作中也发现了很多学员对RAC知识了解甚少,因此我在这里就把RAC里面涉及到的最常用 ...

  2. Oracle 10G RAC集群安装

    一,基本环境配置 01,hosts cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.loc ...

  3. Oracle 12cR1 RAC集群安装（一）--环境准备

    基本环境 操作系统版本 RedHat6.7 数据库版本 12.1.0.2 数据库名称 testdb 数据库实例 testdb1.testdb2 (一)安装服务器硬件要求 配置项目 参数要求 网卡 每台 ...

  4. Oracle 12cR1 RAC集群安装（二）--使用图形界面安装

    Oracle 12cR1 RAC集群安装文档:Oracle 12cR1 RAC集群安装(一)--环境准备Oracle 12cR1 RAC集群安装(二)--使用图形界面安装Oracle 12cR1 RA ...

  5. 转载:【Oracle 集群】RAC知识图文详细教程(七)--Oracle 11G RAC集群安装

    文章导航 集群概念介绍(一) ORACLE集群概念和原理(二) RAC 工作原理和相关组件(三) 缓存融合技术(四) RAC 特殊问题和实战经验(五) ORACLE 11 G版本2 RAC在LINUX ...

  6. oracle 11g rac集群重启顺序以及常用管理命令简介

    转至:https://www.cnblogs.com/yj411511/p/12459533.html 目录 1.关闭数据库 1.1 查看数据库实例状态 1.2 停止所有节点上实例 1.3 确认数据库 ...

  7. 关于Oracle的rac集群和mysql Galera Cluster的想法

    到了新公司,公司用的是rac,我比较熟悉mysql第三方的集群方案Galera Cluster这类多主集群, 下面是我参考了他人对rac的介绍,然后和mysql方案进行的臆测级别的分析对比. rac和 ...

  8. 【Oracle】RAC集群中的命令

    数据库名称:racdb 节点名称:rac3.rac4 注:以下命令均在grid用户中执行 1.查看集群节点的状态: [grid@rac3 ~]$ crsctl check cluster [grid@ ...

  9. oracle 11g rac集群 asm磁盘组增加硬盘

    创建asm磁盘的几种方式 创建asm磁盘方式很多主要有以下几种 1.Faking方式 2.裸设备方式 3.udev方式(它下面有两种方式) 3.1 uuid方式 3.2 raw方式(裸设备方式) 4. ...

随机推荐

  1. c#截取后台窗口的图片

    c#截取后台窗口的图片,自测可用,据说性能很一般,用用吧 struct RECT { public int Left; // x position of upper-left corner publi ...

  2. CCF-CSP题解 201612-4 压缩编码

    \(CSP\)也考\(DP\)的嘛...想了两小时贪心的我在宿舍凌乱... 还是智障+老花啊...这不是一道区间合并裸题嘛...石子合并啊... 再看看这\(3s\)的时限,\(O(n^3)\)都够了 ...

  3. 《Java知识应用》Java通过Get和Post实现HTTP请求。

    Http请求,是非常常见并且的数据交互方式. 下面讲解:Get和Post的两个实战案例. 用于测试的Action(controller). @RequestMapping(value = " ...

  4. SpringBoot电商项目实战 — Zookeeper的分布式锁实现

    上一篇演示了基于Redis的Redisson分布式锁实现,那今天我要再来说说基于Zookeeper的分布式现实. Zookeeper分布式锁实现 要用Zookeeper实现分布式锁,我就不得不说说zo ...

  5. spring源码学习（四）-spring生命周期用到的后置处理器

    生命周期的九大后置处理器 第一次调用后置处理器org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory# ...

  6. AI行业精选日报_人工智能（12·20）

    IDC:中国智能家居市场2020年十大预测 12 月 20 日消息,「IDC 咨询」官方公众号发布「中国智能家居 2020 年十大预测」.具体内容如下:互联平台加速整合.语音助手广泛赋能.智能电视显著 ...

  7. MongoDB(五)：更新文档、删除文档

    1. 更新文档 MongoDB的uptade()和save()方法用于将集合中的文档更新.update()方法更新现有文档中的值,而save()方法是传递文档数据替换现有文档.从3.2版本开始,Mon ...

  8. 手摸手教你编写你人生中第一个HTML页面

    本文是<HTML5与CSS3基础语法自学教程>的第二篇,首发于[前端课湛]微信公众号. 导读:本小节主要讲解 HTML 的基础语法内容,将通过编写第一个 HTML 页面来学习 HTML 的 ...

  9. 微信 电脑版 HOOK（WeChat PC Hook）- 定位dll获取数据和调用功能的地址

    方案一:CE搜索内存数据,OD断点查看堆栈方案二:使用旧版本的特征码,在新版本搜索方案三:借鉴WeTool的dll,用ida分析获取地址方案四:ida静态分析微信,看字符串和输出日志 源码: http ...

  10. Linux查看哪些进程占用的系统 buffer/cache 较高 (hcache，lsof）命令

    原文内容来自于LZ(楼主)的印象笔记,如出现排版异常或图片丢失等问题,可查看当前链接:https://app.yinxiang.com/shard/s17/nl/19391737/9652651a-7 ...