主机环境：双节点，浪潮850
操作系统：REDHAT 6.3
内核版本：2.6.32-279.el6.x86_64
ORACLE数据库版本：11.2.0.3.0
网卡两块：bond0,bond0:1 均为多块eth网卡捆绑后的网卡
共享存储连光纤交换机
一 操作系统准备
1 系统软件包
binutils-2.17.50.0.6
compat-libstdc++-33-3.2.3
compat-libstdc++-33-3.2.3 (32 bit)
elfutils-libelf-0.125
elfutils-libelf-devel-0.125
# gcc-4.1.2
gcc-c++-4.1.2
# glibc-2.5-24
# glibc-common-2.5
# glibc-devel-2.5
# glibc-headers-2.5
ksh-20060214
libaio-0.3.106
libaio-0.3.106 (32 bit)
libaio-devel-0.3.106
libaio-devel-0.3.106 (32 bit)
# libgcc-4.1.2
libstdc++-4.1.2
libstdc++-4.1.2 (32 bit)
libstdc++-devel 4.1.2
make-3.81
numactl-devel-0.9.8.x86_64
sysstat-7.0.2
numactl-devel
unixODBC
unixODBC-devel
安装gcc软件时需要上述“#”号后面软件包按一定顺序安装，否则在安装GI时（测试完成之后）会
报错："error in inroking target ‘mkldflags ntcontab.o nnfgt‘ of makefile ‘ /u01/app/11.2.0/grid/network/lib/ins-net-client.mk‘ "
安装顺序如下：
glibc-common-2
kernel-header-2
libgcc-4
glibc-2
libgomp-4
nscd-2
glib-headers-2
glibc-devel-2
mpfr-2.4
ppl-0.
cloop-ppl-0.
cpp-4
gcc-4
报错时上网查询，有给出CPP包没安的解释，但如果不按顺序把GCC按上的话仍然会报次错误。
（ 配置操作系统参数 ）
2 网络参数
由于不使用DNS,直接在/etc/host
#public
192.168.20.17 lc01 lc01.localdomain
192.168.20.18 lc02 lc02.localdomain
#private
10.10.10.17 lc01-priv lc01-priv.localdomain
10.10.10.18 lc02-priv lc02-priv.localdomain
#virtual
192.168.20.22 lc01-vip lc01-vip.localdomain
192.168.20.21 lc02-vip lc02-vip.localdomain
#scan
192.168.20.19 data-scan
3 修改操作系统内核
在/etc/sysctl.conf文件中添加修改
# 信息队列的最大值
kernel.msgmnb = 65536
# 一条信息的最大值
kernel.msgmax = 65536
# 用于定义单个共享内存的最大值，应能在一个共享内存段下容纳下整个SGA,设置过低会导致需创建多个共享导致系统性能下降
kernel.shmmax = 687194767360
# 可使用共享内存总页数，单位 pages，一般为shmmax/shmmin
kernel.shmall = 167772160
#共享内存段的最大数量，一般为4096
kernel.shmmni = 4096
#semaphores:semmsl,semmns,semopm,semmni
kernel.sem = 5200 665600 5200 128
#semmsl 信号量集合中能包含的信号量最大数目
#semmns 系统内可许可的信号量最大数目
#semopm 表示单个semopm()调用在一个信号集合上可以执行的操作数量
#semmni 表示系统信号量集合总数
#系统许可的文件句柄的最大数，linux系统中可以打开文件的数量
fs.file-max = 6815744
#同时可拥有异步IO请求数目
fs.aio-max-nr = 1048576
#套接字接收缓冲区大小的缺省值
net.core.rmem_default = 262144
#套接字接收缓冲区大小的最大值
net.core.rmem_max = 4194304
#套接字发送缓冲区大小的缺省值
net.core.wmem_default = 262144
#套接字发送缓冲区大小的最大值
net.core.wmem_max = 1048586
#应用程序可使用的ipv4端口范围
net.ipv4.ip_local_port_range = 9000 65500
修改完后使用/sbin/sysctl -p使参数生效
4 修改/etc/security/limits.conf
加入
#nproc 单个用户可用最大进程数量，nofile 可打开文件的最大数量
* soft nproc 6000
* hard nproc 16384
* soft nofile 1024
* hard nofile 65536
5 禁用selinux和firewall
在 /etc/selinux/config 文件中把SELINUX=enable改为SELINUX=disable
service iptables stop
chkconfig iptables off
#如果不按firewall安装GI时会报错
6 建立用户和组
groupadd -g 500 oninstall
groupadd -g 501 dba
groupadd -g 502 oper
useradd -u 600 -g oinstall -G dba,oper oracle
passwd oracle
7 创建文件夹
mkdir -p /u01/app/grid
mkdir -p /u01/app/11.2.0/grid
mkdir -p /u01/app/oracle
chown -R root:dba /u01
chown -R oracle:oinstall /u01/app/oracle
chown -R grid:oinstall /u01/app/grid
chmod -R 755 /U01
8 添加环境变量
su - oracle
在 .bash_profile中
#ORACLE_SETTING
export DIAPLAY=:0.0
TMP=/tmp;export TMP
TMPDIR=$TMP;export TMPDIR
ORACLE_BASE=/u01/app/oracle;export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;export ORACLE_HOME
ORACLE_SID=db_1;export ORACLE_SID
export ORACLE_UNQNAME=db
ORA_CRS_HOME=$ORACLE_BASE/product/11.2.0/crs;export ORA_CRS_HOME
ORACLE_TERM=xterm;export ORACLE_TERM
PATH=/user/sbin/:$PATH;export PATH
PATH=$ORACLE_HOME/bin:$PATH;export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;
export CLASSPATH
su - grid
在.bash_profile
# for oracle
export DISPLAY=:0.0
export TMP=/tmp;
export TMPDIR=$TMP;
export ORACLE_BASE=/u01/app/grid;
export ORACLE_HOME=/u01/app/11.2.0/grid;
export ORACLE_TERM=xterm;
export PATH=/usr/sbin:$PATH;
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;
9 设置ssh互信
设置grid用户互信
在grid用户下 mkdir .ssh
chmod 755 .ssh
ssh-keygen -t rsa 在.ssh目录下生成id_rsa.pub,id_rsa
ssh-keyget -t dsa 在.ssh目录下生成id_dsa.pub,id_dsa
都在.ssh目录下
把节点1 的.pub文件全部拷贝到authorized_key文件中，cat id_rsa.pub>>authorized_key,cat id_dsa.pub>>authorized_key;
节点2的.pub文件全部拷贝到authorized_keys文件中, cat id_rsa.pub>>authorized_key,cat id_dsa.pub>>authorized_keys.
把节点1的authorized_key文件拷贝到节点2的.ssh目录下
scp authorized_key 节点2：.ssh/
在节点2 把authorized_key追加到authorized_keys文件中 cat authorized_key>>authorized_keys,
这时authorized_keys中包含所有节点的公钥。
把节点2下的authorized_keys拷贝回节点1.ssh目录下
scp authorized_keys 节点1：.ssh/
这时两个节点都有全部的公钥。
测试： ssh 节点1 date;
ssh 节点1-priv date;
ssh 节点1-vip date;
ssh 节点2 date;
ssh 节点2-priv date;
ssh 节点2-vip date；
测试在.ssh目录下生成known_hosts文件记录连接的主机信息，第一次连接选择yes即可。
同样步骤在oracle用户下设置互信
二 设置共享存储
共享存储是rac集群能够实现的关键，而网络上大部分都是用虚拟机环境设置的，在真实环境下设置有点胆战心惊。
首先请存储工程师挂载共享存储
挂在完成后在/dev下发现sd*等文件共70张。
第一个考虑的问题用不用向正常访问一样分区，格式化。
因为要使用ASM，考虑ASM的一个目的是绕过操作系统直接操作存储，如果格式化了又把磁盘的操作交给操作系统，一旦操作系统出了问题可能会影响读写性能，也可能成为性能瓶颈，最后决定不分区也不格式化直接用裸盘。
这时问题来了，通过redhat6.3的磁盘实用程序查看磁盘时，磁盘都有报警：“Warning:Several paths to this drive has been detected but no corresponding multipath device was found.You OS may be misconfigured.”
与存储工程师联系确认发现，那边只挂载了10块盘，而我这边却显示为70块这是怎么回事？
原来存储工程师在挂在存储时使用了多路劲技术，这种技术能实现：1 故障的切换和恢复 2 IO流量的负载均衡 3 磁盘虚拟化
测了一下磁盘的IO确实有巨大的提升
那多路径形成的sd*盘能否直接使用？感觉如果直接使用就可能失去故障切换恢复和IO流量负载均衡的优势，在挂载ASM磁盘时也不好挂在（70多张盘）。
最后决定使用linux下的多路径软件multipath解决
1 安装multipath
在操作系统光盘目录下安装以下软件
device-mapper-event-libs
device-mapper-multipath
device-mapper-libs
device-mapper-multipath-libs
device-mapperevent
device-mapper-persistent-data
device-mapper
2 加载
查看多路径状态 multipath -ll
返回结果有：DM multipath kernel driver not loaded 说明DM模块没有加载
初始化DM: modprobe dm-multipath
modprobe dm-round-robin
service multipath start
multipath -v2
这时再通过 multipath -ll 查看
返回 /etc/multipath.conf does not exist 说明多路径软件的配置文件还没有配置
3 配置文件
在/etc下建立文件multipath.conf加入
#默认策略
defaults {
udev_dir /dev #默认使用的目录
user_friendly_names yes
path_grouping_policy multibus #默认的路径组策略
failback immediae #故障恢复的模式
no_path_retry fail #在路径不可用下尝试失效路径的次数（不尝试）
getuid_callout "/sbin/scsi_id -g -u --whitelisted --device=/dev/%n"
#获得唯一设备号的默认程序，通过唯一设备号把同一个盘识别出来
}
#如果不想让某些磁盘被多路径软件识别出来而是作为虚拟磁盘使用可以加入
# blacklist { devnode "^sdh"}
#因为使用多路径挂载的每次重启系统后同一块盘的显示磁盘会发生变化，这样如果按名称来可能出错，因此按路径来
#使用multipath -v3 查询出每块磁盘的wwid
multipaths {
multipath {
wwid 3600507680180870dd0000000000003d0
alias OCR01
}
multipath {
wwid 3600507680180870dd0000000000003d1
alias OCR02
}
multipath {
wwid 3600507680180870dd0000000000003cf
alias OCR03
}
multipath {
wwid 3600507680180870dd0000000000003ce
alias DG01
}
multipath {
wwid 3600507680180870dd0000000000003d7
alias DG02
}
multipath {
wwid 3600507680180870dd0000000000003d6
alias DG03
}
multipath {
wwid 3600507680180870dd0000000000003d5
alias ARCHDG01
}
multipath {
wwid 3600507680180870dd0000000000003d3
alias VOTE01
}
multipath {
wwid 3600507680180870dd0000000000003d4
alias VOTE02
}
multipath {
wwid 3600507680180870dd0000000000003d2
alias VOTE03
}
}
#这时无论重启时某块磁盘在系统中显示是：/dev/sda,/dev/sdaa,/dev/sdab,
#还是/dev/sda,/dev/sds,/dev/sdj
#在/dev/mapper目录下都是DG1
4 使配置文件生效
每次修改配置文件都得重启，或重新加载服务
service multipathd restart/ service multipathd reload
重新配置策略 ：multipath -F 清空以前的策略，这时在/dev/mapper下除了control文件外没有其他文件
multipath -v2 加载新的策略，这时在/dev/mapper下出现 OCR1,OCR2,OCR3等文件
使用设备时直接使用/dev/mapper/OCR1等就可以
5 权限
/dev下默认属主为：root,属组为 disk
在安装GI时会显示不出来磁盘，必须修改磁盘权限
但直接修改 /dev/mapper/OCR1等文件不会生效，该目录不能修改属主（可能因为都是link文件）
但该目录下的control文件可以修改，chown grid:oinstall /dev/mapper/control
修改完成后在安装GI时确实能显示磁盘/dev/mapper/*,但仍有报错，而且重启后权限又变回root:disk.
通过multipath -l 查询
查询结果处理说明 /dev/mapper/OCR*是由哪几块/dev/sd*组成，后面还显示了这时dm-*,
感觉dm-*为链接文件的真实文件，查找后发现dm-*就在/dev下
修改权限 chown grid：oinstall /dev/dm-*
修改后 GI运行没有报关于ASM存储的错误
三 安装GI
1 解压
将软件包p10404530_112030_Linux-x86-64_3of7.zip解压到节点rac01.
# unzip p10404530_112030_Linux-x86-64_3of7.zip
2 安装cvuadisk包
在Grid的安装包grid/rpm/cvuqdisk-1.0.9-1.rpm，以root用户安装
# export CVUQDISK_GRP=oinstall
# rpm -ivh cvuqdisk-1.0.9-1.rpm
3 以grid用户在grid目录下执行./runInstall名令
export LANG=C #这种语言变量，否则在出现的图形界面为乱码
./runInstall
如果使用./runInstall 出现错误："无法使用命令 /usr/bin/xdpyinfo自动检查显示器颜色，是否设置DISPLAY"
解决办法：1 在root用户下执行：xhost +
返回信息为："access control disabled,clients can connect from any host"
2 在 grid 用下,export DISPLAY=远程来源IP:0.0
即可
4 过程
安装选项: 安装和配置集群的网格基础结构.
安装类型: 高级安装
语言: 简体中文
网格即插即用: 集群名称: rac-cluster
SCAN名称: rac-scan （此名称应该与/ETC/HOSTS文件中sanip的对应名称一致）
SCAN端口: 1521
不配置GNS,如果需要自动生成虚拟IP，需配置GNS
GNS子域: racgrid
GNS VIP地址: 192.168.89.91
集群节点信息: 编辑和添加主机和虚拟IP名称
主机名 虚拟IP名
rac01 rac01v
rac02 rac02v
点ssh按钮配置节点ssh互信(需要输入grid用户密码)
注：第一次安装时肯能是缺少了某些包，出现一个小问题
当进行下一步时，提示错误"该主机名(节点-vip)已经被使用" 的错误，只有在两个节点的/etc/hosts文件中把vip的信息注释掉才能通过。如果在这之前注释掉vip仍然会报错，得把vip信息加上，再碰到错误"该主机名(节点-vip)已经被使用",才能进行下一步。怀疑是某个软件包（GCC等）没有安好。安装好后不会有次怪异的问题。
网络接口使用情况: 接口名称 子网 接口类型
PublicNet 192.168.20.0 公共
PrivateNet 10.10.10.0 专用
存储选项: 自动存储管理(ASM)
创建ASM磁盘组: 当选择存储选项:自动存储管理(ASM)后，需要创建ASM磁盘.
设置ASM磁盘搜索路径/dev/mapper/* #这时如果没有应注意/dev/dm*的权限
设置磁盘组名，使用normal，勾选出现的磁盘
#这时选择的磁盘作为OCR和vote盘使用
ASM口令: 设置SYS和ASMSNMP的口令，是用相同口令
故障隔离: 不使用智能平台管理接口(IPMI).
安装位置: 设置安装位置默认:Oracle基目录/u01/app/grid，软件位置/u01/app/11.2.0/grid
先决条件检查: 自动检查先决条件
/* 第一次检查时有几个报错 1 缺少包 cvuqdisk
(在grid/rpm目录下安装即可)
2 device check for asm
(应该是磁盘的顺序或权限有问题，顺序问题通过绑定wwid解决，权限问题修改/dev/dm*属主与属组)
3 NTP failed
NTP服务失败。因为两个节点都没做NTP服务，时间同步服务器在其他主机上，把/etc/ntp.conf改成/etc/ntp.conf.bak即可。
4 task resolv.conf Intergrity 因为没有使用DNS服务器，直接用/etc/hosts,该错误可以忽略。
*/
安装
/* 安装时报错
KFOD-070311
ORA-027472
都是因为共享磁盘权限的问题
OUI-10066
PRCI-1108
PRCI-1003
都是因为缺少包 libcap
*/
按提示在各节点上以root用户执行脚本.
/* 执行脚本时一定要先在第一个主机，即运行./runInstall程序的主机上执行，然后再在另一个上执行，否则会导致错误。
# /u01/app/oraInventory/orainstRoot.sh
# /u01/app/11.2.0/grid/root.sh
完成
检查： olsnodes
crsctl check crs (次命令只有root可以执行)
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
crs_stat -t -v
srvctl status listener
重新启动节点后，如果集群服务不能启动.crsctl check crs
需要检查设备权限的问题,重启后磁盘设备owner会被修改为root.
或者没有设置crs随系统启动.
/u01/app/11.2.0/grid/bin/crsctl stop crs # 停止CRS服务
/u01/app/11.2.0/grid/bin/crsctl start crs # 启动CRS服务
/u01/app/11.2.0/grid/bin/crsctl disable crs # 禁止随系统启动
/u01/app/11.2.0/grid/bin/crsctl enable crs # 允许随系统启动
/u01/app/11.2.0/grid/bin/crsctl stop cluster -all # 停止所有节点上运行的全部集群资源
/u01/app/11.2.0/grid/bin/crsctl start cluster -all # 启动所有节点上运行的全部集群资源
四 安装ORACLE软件
1 将oracle数据库软件解压到节点rac01.
unzip p10404530_112030_Linux-x86-64_1of7.zip
unzip p10404530_112030_Linux-x86-64_2of7.zip
2 以oracle登入系统，运行database下的runInstaller文件
配置安全更新 不需要接收更新
安装选项 选择仅安装数据库软件，后续再通过dbca创建数据库.
网格选项 Real Application Clusters数据库安装
节点全选 #如果CRS没有自动重启，就看不到节点，重新后得重新runInstall才能看到节点
点按钮SSH Connectivity.配置oracle下ssh互信.
产品语言 根据需要选择:英语、简体中文
数据库版本 企业版
安装位置 默认(根据.bash_profile中的全局变量设置)
Oracle基目录: /u01/app/oracle
软件位置: /u01/app/oracle/product/11.2.0/db_1
操作系统组 oinstall
先决条件检查 忽略警告
安装
按提示在每个节点上执行脚本/u01/app/oracle/product/11.2.0/db_1/root.sh
点OK完成安装
五 配置ASM
以grid用户运行asmca.
设置ASM磁盘搜索路径/dev/mapper/*,出现multipath配置的磁盘
创建磁盘时报错，因为每块磁盘不能超过两T，需要把超过2T的磁盘进行分区。
分区之后/dev/mapper下不会有变化，只有在fdisk -l 时能看到分区的盘，通过ASM也不会看到。
只有通过 multipath -F 清空多路径，再 multipath -v2 重新连接多路径才能看到，这时在ASM里也能选磁盘的分区了。
六 创建数据库
以oracle用户运行dbca.(为方便管理应该在第一个节点上执行，否则可能会出现sid_1在节点2上运行，sid_2在节点1上运行的情况)
数据库类型 Oracle Real Application Clusters数据库
操作 创建数据库
数据库模板 一般用途
数据库标识 设置全局数据库名和SID前缀，节点全选
管理选项 默认
数据库身份 设置密码
数据库文件位置 存储类型:自动存储管理，使用Oracle-Managed files，数据库区:设置之前创建的磁盘组+DATA
恢复区:+FLASH_AREA
字符集
安装
出现提示在节点rac02上启动database control出错，在节点rac02执行以下命令:
[[email protected] ~]$ export ORACLE_UNQNAME=astt
[[email protected] ~]$ /u01/app/oracle/product/11.2.0/db_1/bin/emctl start dbconsole
点OK安装完成.
安装后可能不能连接
如果出现错误ORA-12537: TNS:connection closed，可能是权限的问题，执行以下可以解决:
# chown -R oracle:oinstall /u01/app/oracle
# chown -R grid:oinstall /u01/app/grid
# chmod -R 755 /u01/app/oracle
# chmod -R 755 /u01/app/grid
七 测试数据库
运行sqlplus，以dba权限登录Oracle系统后执行以下语句查询集群节点状态:
$ ./crs_stat -t -v
$ sqlplus / as sysdba;
SQL> select instance_name,host_name,status from v$instance;
SQL> select instance_name,host_name,status from gv$instance;
$ srvctl stop database -d db -o immediate;
$ srvctl start database -d db;