为RAC私有网络配置网卡Bonding

在RAC的安装部署过程中，并不仅仅是简单的安装完成了事，整个安装过程要考虑可能出现的单点问题，其中比较重要的是私有网络。

私有网络是RAC节点间通信的通道，包括节点间的网络心跳信息、Cache fusion传递数据块都需要通过私有网络。而很多的私有网络都仅仅是一块单独的网卡连接上交换机就完成了，更有甚者，直接使用服务器间网卡互连的方式配置私有网络。这种部署方式简单，但RAC投入使用后风险非常大，存在诸多单点如网卡、网线、交换机口、交换机。几乎每个组件发生故障都会导致RAC
split，所以建议为私有网络配置双网卡bonding。

下面是我的配置步骤：

环境：

OS：CentOS release 6.4 (Final)

Oracle：11.2.0.4 RAC

网卡：4个 em1,em2,em3,em4，当前em1作为公有网卡，em3作为私有网卡已经启用了，em2和em4闲置。

配置bond模块并加载（在2个节点执行）：

编辑/etc/modprobe.d/bonding.conf加入内容：

[[email protected] ~]# vi /etc/modprobe.d/bonding.conf

alias bond0 bonding

[[email protected] ~]# modprobe -a bond0

验证：

[[email protected] ~]#  lsmod  |grep bond

bonding               127331  0

8021q                  25317  1 bonding

ipv6                  321422  274 bonding,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6

编辑网卡配置文件，编辑成如下内容：

节点一：

Ifcfg-em2:

DEVICE=em2

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

Ifcfg-em4:

DEVICE=em4

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

Ifcfg-bond0:

DEVICE=bond0

MASTER=yes

BOOTPROTO=node

ONBOOT=yes

BONDING_OPTS="mode=1 miimon=100"

IPADDR=10.10.10.105

PREFIX=24

GATEWAY=10.10.10.1

节点二：

ifcfg-em2:

DEVICE=em2

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

ifcfg-em4:

DEVICE=em4

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

Ifcfg-bond0:

DEVICE=bond0

MASTER=yes

BOOTPROTO=node

ONBOOT=yes

BONDING_OPTS="mode=1 miimon=100"

IPADDR=10.10.10.106

PREFIX=24

GATEWAY=10.10.10.1

我这里使用的是mode=1的主备网卡模式，平时只激活一块网卡，一旦主网卡发生故障，会切换链路到备网卡，其他也可以考虑4,6两种mode。

修改完了配置文件之后，分别在2个节点启动bond0：ifup bond0。

此时可以看到：

[[email protected] ~]# ifconfig

bond0     Link encap:Ethernet  HWaddr C8:1F:66:FB:6F:CB

inet addr:10.10.10.105  Bcast:10.10.10.255  Mask:255.255.255.0

inet6 addr: fe80::ca1f:66ff:fefb:6fcb/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

RX packets:9844809 errors:0 dropped:0 overruns:0 frame:0

TX packets:7731078 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:9097132073 (8.4 GiB)  TX bytes:6133004979 (5.7 GiB)

em2       Link encap:Ethernet  HWaddr C8:1F:66:FB:6F:CB

UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

RX packets:9792915 errors:0 dropped:0 overruns:0 frame:0

TX packets:7731078 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:9088278883 (8.4 GiB)  TX bytes:6133004979 (5.7 GiB)

Interrupt:38

em4       Link encap:Ethernet  HWaddr C8:1F:66:FB:6F:CB

UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

RX packets:51894 errors:0 dropped:0 overruns:0 frame:0

TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:8853190 (8.4 MiB)  TX bytes:0 (0.0 b)

Interrupt:36

网卡的bonding已经配置成功了。

测试验证

此时可以测试分别断掉em2 em4，在一个节点长ping另一个节点的私有IP，并结合/proc/net/bonding/bond0的信息观察primary
slave的变化，可以发现当down一个网卡时ping不会中断。

Bond0配置好之后，接下来一步就是把配置成RAC的私有网卡。

为了避免配置失败，首先要备份好原来的配置文件。

以grid用户在2个节点对$GRID_HOME/ grid/gpnp/noden/profiles/peer/profile.xml文件执行备份：

cd /u01/app/11.2.0/grid/gpnp/noden/profiles/peer

cp  profile.xml  profile.xml.bk

[[email protected] peer]# ls

pending.xml  profile_orig.xml  profile.xml  profile.xml.bk、

查看目前的私有网络配置：

node2-> oifcfg getif

em1  192.168.10.0  global  public

em3  10.10.10.0  global  cluster_interconnect

先添加新的私有网络，在任一节点执行即可：

node1-> oifcfg setif -global bond0/10.10.10.0:cluster_interconnect

这一步在执行时可能会报错：

node1-> oifcfg setif -global bond0/10.10.10.0:cluster_interconnect

PRIF-33: Failed to set or delete interface because hosts could not be discovered

CRS-02307: No GPnP services on requested remote hosts.

PRIF-32: Error in checking for profile availability for host node2

CRS-02306: GPnP service on host "node2" not found.

这是因为gpnpd服务异常导致的。

解决方法：可以Kill掉gpnpd进程，GI会自动重新启动gpnpd服务。

在2个节点执行：

[[email protected] ~]# ps -ef| grep gpnp

grid      4927     1  0 Sep22 ?        00:26:38 /u01/app/11.2.0/grid/bin/gpnpd.bin

grid     48568 46762  0 17:26 pts/3    00:00:00 tail -f /u01/app/11.2.0/grid/log/node2/gpnpd/gpnpd.log

root     48648 48623  0 17:26 pts/4    00:00:00 grep gpnp

[[email protected] ~]# kill -9 4927

[[email protected] ~]#

参考gpnpd.log

添加私有网络之后，我们按照如下步骤将原来的私有网络删除：

首先停止并disable掉crs。

以root用户在2个节点分别执行以下命令：

停止crs

crsctl stop crs

禁用crs

crsctl disable crs

修改hosts文件，将私有IP地址改为新地址。

2个节点分别执行：

ping node1-priv

ping node2-priv

再启动crs。

[[email protected] ~]# crsctl enable crs

CRS-4622: Oracle High Availability Services autostart is enabled.

[[email protected] ~]# crsctl start crs

删除原来的私有网络：

node2-> oifcfg delif -global em3/10.10.10.0:cluster_interconnect

检查验证，配置成功了。

node2-> oifcfg getif

em1  192.168.10.0  global  public

bond0  10.10.10.0  global  cluster_interconnect

node2->

时间： 2024-10-11 17:00:34

为RAC私有网络配置网卡Bonding的相关文章

RAC优化之配置大帧（jumbo frame）

RAC优化之配置大帧(jumbo frame) 首先讲讲MTU的概念:在网络通信中,有个MTU(Max Transmission Unit)的概念,即网络传输中最大帧的大小,这个值默认是1500Byte(以太网的可变帧大小是46-1500Byte). [[email protected] ~]# ifconfig bond0 bond0     Link encap:Ethernet  HWaddr C8:1F:66:FB:6F:CD inet addr:10.10.10.105  Bcast:

XenServer网卡Bonding

在给XenServer配置网卡bonding时,需要在所有节点都添加到集群之后再进行,这也是来自Citrix的建议:"Citrix recommends never joining a host that already has a bond configured on it to a pool".用XenCenter连接XenServer 集群,通过界面操作对网卡进行bonding是很easy的,而要自动化完成这个功能,可通过调用xe命令去完成,但需要 对一些概念有了解. 对于一个X

centOS7网络配置（nmcli，bonding，网络组）

关于网络接口命名 CentOS 6之前,网络接口使用连续号码命名: eth0. eth1等,当增加或删除网卡时,名称可能会发生变化.CentOS 7使用基于硬件,设备拓扑和设置类型命名. 网卡命名机制 systemd对网络设备的命名方式 (a) 如果Firmware或BIOS为主板上集成的设备提供的索引信息可用,且可预测则根据此索引进行命名,例如eno1 (b) 如果Firmware或BIOS为PCI-E扩展槽所提供的索引信息可用,且可预测,则根据此索引进行命名,例如ens1 (c) 如果硬件接

3-双网卡的网络配置

#####双网卡网络配置###### *链路聚合 *作用:主动备份模式 一次只能只能使用一个接口,如果接口故障,另一个会接替它 命令:nmcli connection add con-name bond0 ifname bond0 type bond mode active-backup ip4 172.25.254.162/24      ##添加主动备份模式的bond0,ip为172.25.254.162 命令:watch -n 1 cat /proc/net/bonding/bond0  

linux系统下网络主-备份策略之网卡bonding技术

操作系统:CentOS Linux release 7.1.1503 (Core) 网卡适配器: eno1.eno2 bonding类型:mode=1 (active-backup),主-备份策略 网卡绑定mode共有七种,每种模式,都有各自的用处,笔者由于在工作中使用的是mode=1 (active-backup)模式 在此笔者将工作中使用到的网卡绑定bonding技术的mode=1 (active-backup)模式的配置实现过程记录如下: 1.在Centos 7中,我们可以使用modinf

网卡bonding模式 - bond0、1配置

网卡bonding简介 网卡绑定就是把多张物理网卡通过软件虚拟成一个虚拟的网卡,配置完毕后,所有的物理网卡的ip和mac将会变成相同的.多网卡同时工作可以提高网络速度,还可以实现网卡的负载均衡.冗余. bonding模式 1    round-robin(mode=0) 轮转策略,轮流在每一个slave网卡上发送数据包,提供负载均衡和容错能力. 2    active-backup(mode=1) 主备策略,只有一个slave被激活,只有当active的slave的接口down时,才会激活其它s

ubuntu 设置网卡为混杂模式 以及网络配置命令

1. ifconfig eth0 promisc 设置eth0为混杂模式. ifconfig eth0 -promisc 取消它的混杂模式 [email protected]:~$ ifconfigeth0 Link encap:Ethernet HWaddr 00:0c:29:ae:a9:7f inet addr:192.168.4.197 Bcast:192.168.4.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:feae:a97f/6

Java获取本地环境所有网卡及每个网卡的所有网络配置

一个网卡(不太标准,应该叫做一个网络接口,一个网卡是可以拥有多个网络接口的,如SoftAP)拥有一套网络配置:ip地址,子网掩码,网关,dns等等. 自java 1.6开始,提供了访问网络配置的一些接口: java.net.NetworkInterface(自1.4开始) 此类表示一个由名称和分配给此接口的 IP 地址列表组成的网络接口.它用于标识加入多播组的本地接口. 接口通常是按名称(如 "le0")区分的. java.net.InterfaceAddress(自1.6开始) 此类

linux配置网卡IP地址命令详细介绍及一些常用网络配置命令

linux配置网卡IP地址命令详细介绍及一些常用网络配置命令2010-12-17 0 个评论 收藏 我要投稿 Linux命令行下配置IP地址不像图形界面下那么方 便,完全需要我们手动配置,下面就给大家介绍几种配置的方法: 即时生效(重启后失效): ifconfig eth0 192.168.1.102 netmask 255.255.255.0 //添加IP地址 route add default gw 192.168.1.1 //添加网关 启动生效: vim /etc/sysconfig/ne