第9课_1_cluster安装

1. 配置网络

vi ifcfg-eth0

ifup ifcfg-eth0

[root@localhost init.d]# ./network restart

Shutting down interface eth0: [ OK ]

Shutting down loopback interface: [ OK ]

Setting network parameters: [ OK ]

Bringing up loopback interface: [ OK ]

Bringing up interface eth0: [ OK ]

[root@localhost init.d]# pwd

/etc/init.d

[root@localhost init.d]#

一 RAC安装注意事项

0.oracle用户下配置好.bash_profile环境变量，全程图形化安装

第一台机器环境变量

vi /home/oracle/.bash_profile

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export CRS_HOME=/u01/crs

export ORA_CRS_HOME=/u01/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin

export ORACLE_SID=racjch1

. .bash_profile

第二台机器环境变量

vi /home/oracle/.bash_profile

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export CRS_HOME=/u01/crs

export ORA_CRS_HOME=/u01/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin

export ORACLE_SID=racjch2

第一台机器网络环境

hostname：rac1

192.168.153.101 rac1 eth0 共有网卡

192.168.111.101 rac1-priv eth1 私有网卡

192.168.153.201 rac1-vip eth0 虚拟ip 作用：第一时间诊断网络故障的不是对外提供服务的.复用eth0

step:

先处理网络配置文件：/etc/host.conf
order bind,hosts 

第二台机器网络环境

hostname：rac2

192.168.153.102 rac2 eth0 共有网卡

192.168.111.102 rac2-priv eth1 私有网卡

192.168.153.202 rac2-vip eth0 虚拟ip 作用：第一时间诊断网络故障的不是对外提供服务的

1.建立信任关系

（1）两个节点分别执行

ssh-keygen -t rsa                                                 指定秘钥的加密类型   rsa或者dsa。

Generating public/private rsa key pair.                   生成一对密钥【公钥/私钥】

Enter file in which to save the key (/home/oracle/.ssh/id_rsa): 输入保存密钥的路径（默认/home/oracle/.ssh/id_rsa）

Created directory '/home/oracle/.ssh'.                 创建默认路径

Enter passphrase (empty for no passphrase):         输入密码（默认没有密码）

Enter same passphrase again:                                     再次输入密码

Your identification has been saved in /home/oracle/.ssh/id_rsa. 你的私钥被保存在/home/oracle/.ssh/id_rsa

Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. 你的公钥被保存在/home/oracle/.ssh/id_rsa.pub

The key fingerprint is: 密钥指纹

00:92:9c:13:f0:94:63:ab:b2:6a:b2:5b:3a:14:e2:f3 oracle@rac1

/oracle/.ssh 进入目录

touch authorized_keys 创建一个空授权文件

cat id_rsa.pub > authorized_keys 把刚刚生成的公钥写入授权文件

vi authorized_keys             检查是否写入

ssh rac1 测试互信

exit

scp authorized_keys rac2:~/.ssh/ 把授权文件传到rac2:~/.ssh/目录下

ssh rac2 从rac1连rac2，成功，因为rac2中有rac1公钥

永远都是私钥找公钥，如果私钥丢失了，就不能和公钥匹配了（只有原配才能匹配成功否则只能输入密码），私钥放在服务端，公钥放在客户端

在第二个节点上

ssh-keygen -t rsa 指定密钥的加密类型 RSA

Generating public/private rsa key pair. 生成一对密钥【公钥/私钥】

Enter file in which to save the key (/home/oracle/.ssh/id_rsa): 输入保存密钥的路径（默认/home/oracle/.ssh/id_ssa）Enter passphrase (empty for no passphrase): 输入密码（默认没有密码）

Enter same passphrase again: 再次输入密码

Your identification has been saved in /home/oracle/.ssh/id_rsa. 你的私钥被保存在/home/oracle/.ssh/id_rsa

Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. 你的公钥被保存在/home/oracle/.ssh/id_rsa.pub

The key fingerprint is: 密钥指纹

eb:e8:48:43:8b:33:9b:d6:a2:d4:2a:6c:25:bf:0f:0c oracle@rac2

cd /home/oracle/.ssh/

cat id_rsa.pub >> authorized_keys 把第二个节点的rsa公钥追加到授权文件

vim authorized_keys 检查是否写入

scp authorized_keys rac1:~/.ssh/authorized_keys 把完整的授权文件复制给第一个节点

（2）测试两个节点的连通性

ssh rac1 date

ssh rac2 date

ssh rac1-priv date

ssh rac2-priv date

oracle

配置硬盘：

二 安装Clusterware集群软件，集群软件提供的是连接实例与存储的纽带

注意事项：保证两个节点时间一致，可做NTP同步服务

1.准备工作

上传10201_clusterware_linux32.zip集群软件到虚拟机

unzip 10201_clusterware_linux32.zip

chown -R oracle:oinstall clusterware 设置属主与属组

chmod -R 777 clusterware 授予绿色权限

clusterware 集群软件目录

database 数据库软件目录

2.使用oracle用户身份登录进行安装

cd clusterware

3.启动图形化安装功能

xhost +

access control disabled, clients can connect from any host 访问控制已经禁用，客户端可以连接任何主机

4.在安装之前oracle用户可以检查RAC安装先决条件，一些软件包缺失可以忽略掉

cd clusterware/cluvfy

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose

把出错的东西全部修改正确

Suitable interfaces for the private interconnect on subnet "192.168.153.0":

rac2 eth0:192.168.153.102

rac1 eth0:192.168.153.101

Suitable interfaces for the private interconnect on subnet "192.168.111.0":

rac2 eth1:192.168.111.102

rac1 eth1:192.168.111.101

ERROR:

Could not find a suitable set of interfaces for VIPs.

Result: Node connectivity check failed.

http://hi.baidu.com/george_gly/item/62dccad67d8bea32e2108f69

这是一个bug，Metalink中有详细说明，doc.id:338924.1，如说明中所述，可以忽略该错误，没什么问题

5.oracle用户进入到clusterware目录，使用忽略系统环境检查的方式运行runInstaller，因为默认redhat5不在clusterware的安装列表中

官方发布的支持版本：redhat-3, SuSE-9, redhat-4, UnitedLinux-1.0, asianux-1，asianux-2

./runInstaller -ignoreSysPreReqs

6.稍微等几秒钟，便可看见弹出的clusterware安装界面，点击“Next”

安装oracle clusterware 10.2.0.1.0开始，进入欢迎界面点击“Next”

7.将oraInventory目录安装到/u01/app/oraInventory下，点击“Next”

指定操作系统组：oinstall组

8.定义clusterware的安装路径，点击“Next”

Name：OraCrs10g_home

Path:/u01/crs

9.先决条件prerequisite检查

安装前期的环境检查，这里需要把握的就是凡是系统检查没有报告failed那么就不用管

warning或者not executed都没有关系，只要我们在对应的小方框里面打勾就可以了，一共打3个勾，如图所示

10.指定集群节点rac1 rac2 Specify Cluster Configuration 这个地方系统默认只显示一个节点，另一个节点需要手动添加

点击“Add…”-> Public Node Name:rac2 -> Private Node Name:rac2-priv -> virtual Host Name: rac2-vip

11.指定网卡接口用途，系统把所有网卡都扫描进来

点击“Edit”修改

eth0设置为public网卡

eth1设置为private网卡

eth2设置为Do not use不使用

12.指定“OCR 集群注册表”所对应裸设备路径，点击“Next”

OCR：oracle cluster register集群注册表文件，这个文件中记录了oracle RAC的所有可用资源例如 实例 数据库 监听 节点 ASM 磁盘组 service服务等资源，只有把新资源注册到OCR才能被RAC调配使用。例如 新加入一个节点到RAC架构，就需要把新节点注册到OCR，由于OCR文件非常重要因此需要我们拥有冗余方案。

选择“External Redundancy 外部冗余”【你将用磁盘管理系统提供OCR冗余】

Specify OCR Location:/dev/raw/raw1

13.指定“Voting Disk 表决磁盘”所对应裸设备路径，点击“Next”

Voting Disk：表决磁盘是用于防止脑裂现象的一种判断机制，一般为单数个磁盘，当某个节点发生通信故障或不能继续扮演RAC角色时需要表决磁盘来判断是否剔除它。

选择“External Redundancy 外部冗余”

Specify Voting Disk Location:/dev/raw/raw2

14.当上述属性设置完之后，下面开始正式的安装过程，点击“Install”，主节点安装完成后，系统会自动往rac2对应目录下推送clusterware的所有文件

15.安装完成之后，需要分别在两个节点以root身份运行两个脚本

第一个脚本在所有节点上都执行 /u01/app/oraInventory/orainstRoot.sh

第二个脚本在所有节点上都执行 /u01/crs/root.sh

请按顺序执行

su - root

/u01/app/oraInventory/orainstRoot.sh 在rac1 rac2都执行

下面在rac1上执行/u01/crs/root.sh

Run root.sh on remaining nodes to start CRS daemons.

下面我们在rac2上执行root.sh脚本之前需要先编辑两个文件，使用root用户修改

第一个文件/u01/crs/bin/vipca

vi /u01/crs/bin/vipca

搜索/LD_ASSUME_KERNEL

119 if [ "$arch" = "i686" -o "$arch" = "ia64" ]

120 then

121 LD_ASSUME_KERNEL=2.4.19

122 export LD_ASSUME_KERNEL

123 fi

124 unset LD_ASSUME_KERNEL 添加一行：清除环境变量

第二个文件/u01/crs/bin/srvctl

vi /u01/crs/bin/srvctl

166 LD_ASSUME_KERNEL=2.4.19

167 export LD_ASSUME_KERNEL

168 unset LD_ASSUME_KERNEL 添加一行：清除环境变量

16.然后在rac2节点下用root身份执行/u01/crs/root.sh

上面这个错误是我重装的时候，没有修改那两个文件 

1）这里会报错

Waiting for the Oracle CRSD and EVMD to start

Oracle CRS stack installed and running under init(1M)

Running vipca(silent) for configuring nodeapps 运行vipca配置节点

Error 0(Native: listNetInterfaces:[3]) 本地网卡错误

[Error 0(Native: listNetInterfaces:[3])] 本地网卡错误

cd /u01/crs/bin

./oifcfg 这是oracle网卡配置工具，我们可以使用这个工具来检查网卡配置是否正确

oifcfg iflist 检查网卡配置

./oifcfg setif -global eth0/192.168.153.0:public 指定全局公有网卡

./oifcfg setif -global eth1/192.168.111.0:cluster_interconnect 指定全局私有网卡

oifcfg getif 获取配置结果，当rac2配置好后rac1自动生成vipca文件，oifcfg getif

2）使用root用户配置虚拟ip

此步骤在rac1和rac2节点上都可操作

自动弹出图形化界面我们可以使用vipca来创建和配置VIP GSD ONS 资源

/u01/crs/bin/vipca

打开欢迎界面，点击“Next”

3）系统自动找到public的eth0，点击“Next”，【虚拟ip是基于共有网卡eth0】

4）补填各节点对应的vip名称和ip地址 mask地址，点击“Next”

Node name IP Alias Name IP address Subnet Mask

rac1 rac1-vip 192.168.1.201 255.255.255.0

rac2 rac2-vip 192.168.1.201 255.255.255.0

5）检查概述信息，点击“Finish”开始安装，重点检查返填出来的IP地址是否正确千万不能错

6）安装完之后就可以点击“ok”查看结果，点击“Exit”退出vipca

修改/etc/hosts

加上localhosts：

检查vip服务 gsd ons vip 包含三个进程

crs_stat -t 全是ONLINE才算正常，在所有节点上都相同

target是希望的最终状态，state是当前状态

介绍几个集群服务命令

我们要使用集群服务命令的前提是启动其守护进程

启动CRS守护进程crsctl start crs【root用户】

停止CRS守护进程crsctl stop crs【root用户】，停掉守护进程后就无法查看状态了

检查CRS资源状态crsctl check crs

CSS appears healthy 负责节点间通信的

CRS appears healthy 管理crs资源，如listener，vip，ons，gsn等

EVM appears healthy 事件监控进程

crs_stat 查看服务全名

crs_stop -f ora.rac2.vip 停掉某个服务 -f 强制停掉

crs_stop -all 停掉全部集群服务

crs_start -f ora.rac2.vip 启动某个服务 -f 强制启动

crs_start -all 启动全部集群服务

crs_stat -t 检查状态简写方式

ocrcheck 检查oracle集群注册表

crsctl query css votedisk 检查表决磁盘信息

启动vip服务之后就能看见vip了【vip要与共有网卡在一个网段】

ifconfig