1. 前言
- 所需包:
- kernel-xen
- xen
- xen-libs (xen依赖包)
- xen_runtime (xen依赖包)
- 以上xen包需要版本号一致,例如4.1.3版本,这里使用xm接口管理工具,故而,本次试验选用4.1.3版本
- 环境:
- 虚拟宿主机(vm)环境:centos-6.5,内核版本2.6.32
- xen版本:4.1.3
- 因为xen要与外界通信,需要构建桥接,但是NetworkManager不支持,故而需要先关闭
2. 升级虚拟宿主机(vm)内核到3.7.4
- 解压并进入3.7.4内核
tar xf linux-3.7.4.tar.xz;cd linux-3.7.4 - 清理以前的内核编译产生的文件
make distclean - 宿主机的当前内核配置文件到新的内核目录
cp /boot/config-*** ./.config - 加载xen所需模块
make menuconfig,或者直接调用之前已经有的linux 3.7.4 (已包含xen所需模块)的配置文件 - 列出dom0所需的模块
# These core options (Processor type and features| Paravirtualized guest support]
CONFIG_PARAVIRT=y
CONFIG_XEN=y
CONFIG_PARAVIRT_GUEST=y
CONFIG_PARAVIRT_SPINLOCKS=y
# add this item
# And Xen pv console device support (Device Drivers|Character devices
CONFIG_HVC_DRIVER=y
CONFIG_HVC_XEN=y
# And Xen disk and network support (Device Drivers|Block devices and Device Drivers|Network device support)
CONFIG_XEN_FBDEV_FRONTEND=y
CONFIG_XEN_BLKDEV_FRONTEND=y
# change the value to y
CONFIG_XEN_NETDEV_FRONTEND=y
# change the value to y
# And the rest (Device Drivers|Xen driver support)
CONFIG_XEN_PCIDEV_FRONTEND=y
CONFIG_INPUT_XEN_KBDDEV_FRONTEND=y
CONFIG_XEN_FBDEV_FRONTEND=y
CONFIG_XEN_XENBUS_FRONTEND=y
CONFIG_XEN_SAVE_RESTORE=y
CONFIG_XEN_GRANT_DEV_ALLOC=m
# And for tmem support:
CONFIG_XEN_TMEM=y
# add the item
CONFIG_CLEANCACHE=y
# enable the item
CONFIG_FRONTSWAP=y
# enable the item
CONFIG_XEN_SELFBALLOONING=y
# add the item
# Configure kernel for dom0 support
# NOTE: Xen dom0 support depends on ACPI support. Make sure you enable ACPI support or you won‘t see Dom0 options at all.
# In addition to the config options above you also need to enable:
CONFIG_X86_IO_APIC=y
CONFIG_ACPI=y
CONFIG_ACPI_PROCFS=y (optional)
CONFIG_XEN_DOM0=y
CONFIG_PCI_XEN=y
CONFIG_XEN_DEV_EVTCHN=y
CONFIG_XENFS=y
# change the value to y
CONFIG_XEN_COMPAT_XENFS=y
CONFIG_XEN_SYS_HYPERVISOR=y
CONFIG_XEN_GNTDEV=y
CONFIG_XEN_BACKEND=y
CONFIG_XEN_NETDEV_BACKEND=m
# enable the item
CONFIG_XEN_BLKDEV_BACKEND=m
# enable the item
CONFIG_XEN_PCIDEV_BACKEND=m
CONFIG_XEN_PRIVILEGED_GUEST=y
CONFIG_XEN_BALLOON=y
CONFIG_XEN_SCRUB_PAGES=y
# If you‘re using RHEL5 or CentOS5 as a dom0 (ie. you have old udev version), make sure you enable the following options as well:
CONFIG_SYSFS_DEPRECATED=y
CONFIG_SYSFS_DEPRECATED_V2=y- 搜索保存完毕的
.config文件,找到CONFIG_SYSFS_DEPRECATED,将此行改为CONFIG_SYSFS_DEPRECATED_V2=y,如不修改,则无法启动系统 - 编译内核
make all - 编译模块
make modules_install - 安装
make install,安装的过程中可能会出现某些模块找不到,如果找不到的模块,已经在.config中设置为y,则不用理会,因为已经内置编译;如果是无关紧要的模块,也可以不用理会. - 修改
/etc/grub.conf,将default设置为0 - 重启
3. 安装xen包
- 目前官方提供的xen包,已经是4.2.X版本,但是4.2版本不支持xm管理工具,故而选用4.1.3.
- 建立本地yum源
[[email protected] ~]# vim /etc/yum.repos.d/xen.repo
[CentOS-xen4]
name=CentOS_xen4
baseurl=file:///usr/local/src/xen-4.1.3/
gpgcheck=0
[[email protected] ~]# ls /usr/local/src/xen-4.1.3/
repodata xen-doc-4.1.3-2.el6.x86_64.rpm xen-ocaml-4.1.3-2.el6.x86_64.rpm
xen-4.1.3-2.el6.x86_64.rpm xen-hypervisor-4.1.3-2.el6.x86_64.rpm xen-ocaml-devel-4.1.3-2.el6.x86_64.rpm
xen-debuginfo-4.1.3-2.el6.x86_64.rpm xen-libs-4.1.3-2.el6.x86_64.rpm xen-runtime-4.1.3-2.el6.x86_64.rpm
xen-devel-4.1.3-2.el6.x86_64.rpm xen-licenses-4.1.3-2.el6.x86_64.rpm- 安装
xenyum install xen-4.1.3 kernel-xen
4. 修改宿主机grub配置文件vim /etc/grub.conf
- 以xen为主,原虚拟机内核作为xen的模块
default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title CentOS (3.7.4) root (hd0,0) kernel /xen.gz dom0_mem=512M cpufreq=xen dom0_max_vcpus=2 dom0_vcpus_pin module /vmlinuz-3.7.4 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet module /initramfs-3.7.4.img title CentOS (2.6.32-431.20.3.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-431.20.3.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-431.20.3.el6.x86_64.img title CentOS (2.6.32-431.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-431.el6.x86_64.img - 重启机器,查看xen是否已经起效
cat /proc/xen/capabilities出现control_d,则说明表示正常
5. 启动xen服务
- service xend start
- 查看当前xen虚拟实例
xm list
[[email protected] ~]# xm list
Name ID Mem VCPUs State Time(s)
Domain-0 0 512 2 r----- 99.5常用的命令有:
* `xm list`列出虚拟实例
* `xm create -c xen_config`创建实例,-c是监控,即console
* `xm destroy xen_name`对某个实例断电
* `xm console xen_name`连接到某个实例,可通过`ctrl+]`返回6. 安装cobbler环境
- 因为我这里是两次虚拟化,故而宿主机已经不支持硬件虚拟化,故而采用xen半虚拟化方式,但是半虚拟化不支持光盘安装,只支持网络方式
- cobbler的搭建:http://www.cnblogs.com/aaa103439/p/3d018608658a2c444b842cfa47861dda.html
7. 搭建虚拟宿主机的网络环境
- xen的管理配置文件是
/etc/xen/xend-config.sxp,内含的就有网络配置,例如网桥模式,路由模式,nat模式,仅主机模式等,不过即便有,如果不懂实现方式,也不知如何配置,故而本次试验采用手动实现网桥模式. - 如果想要实现VLAN高级技术,则可选用open vswitch
- 我这里的环境如下:虚拟宿主机192.168.182.130就相当于实际环境下的宿主机
- 宿主机192.168.182.2+虚拟服务vm-->虚拟宿主机(vm)192.168.182.130+虚拟服务(xen)-->虚拟机(xen)
- 虚拟宿主机vm网卡eth0模拟成物理交换机peth0,工作在混杂模式,虚拟宿主机vm提供一个虚拟网桥xenbr0,然后将虚拟宿主机vm网卡eth0的MAC关联到虚拟网桥xenbr0上,然后虚拟机(xen)的虚拟网卡,通过xen程序实现桥接到虚拟宿主机vm的虚拟网桥xenbr0上.
- xenbr0可以理解为peth0的逻辑实现
如下图所示:
- 创建桥接除了xen自身的,还有有以下几种:这里选择第三种,手动方式
- 安装
libvirt后,使用virsh可以直接创建 - 安装
bridge-utils包,使用brctl工具
brctl show可以看桥接设备
brctl addbr可以直接关联一个网卡到桥设备上 - 手动创建
- 安装
[[email protected] network-scripts]# cp ifcfg-eth0 ifcfg-xenbr0
[[email protected] network-scripts]# vim ifcfg-xenbr0
DEVICE=xenbr0
BOOTPROTO=none
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Bridge
IPADDR=192.168.128.130
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=114.114.114.114
[[email protected] network-scripts]# vim ifcfg-eth0
DEVICE=xenbr0
BOOTPROTO=none
HWADDR=00:0C:29:D3:E7:B1
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Ethernet
BRIDGE=xenbr0
[[email protected] network-scripts]# service network restart8. 配置一个xen虚拟机实例的配置文件
- 第一种,采用图形化界面,直接安装系统
- 需要安装包
virt-manager或者virtinst - 使用命令
virt-manager或者virtinst创建 - 此模式下会自动创建本地回环文件作为磁盘文件
- 需要安装包
- 第二种,采用命令行模式,自己写配置文件
- 此模式下,需要手动创建本地回环文件作为磁盘文件
losetup -f查看当前空闲lo设备qemu-img create -f qcow2 /xen/images/centos1.img 2G创建一个稀疏磁盘文件dd if=/dev/zero of=/xenimages/centos1.img oflag=direct seek=20479 bs=1M count=1dd方式创建稀疏磁盘
dd if=/dev/zero of=/xen/images/centos1.img bs=1M count=1024创建一个非稀疏磁盘文件losetup -f /xen/images/centos1.img挂载磁盘文件到当前空闲lo上losetup -d /dev/loopN可以卸载磁盘文件
- 利用本地(dom0)额外内核+磁盘文件
vim /etc/xen/centos1kernel="/tmp/vmlinuz" ramdisk="/tmp/initrd.img" name="centos1" memory=512 #定义虚拟几颗cpu,一般来说宿主机cpu是几个,就虚拟几个,最多不要超过2倍 vcpus=2 disk=[‘file:/xen/images/centos1.img,xvda,w‘] root="/dev/vol0/root ro" extra="rhgb quiet" #vif可以定义多个网卡,[]是列表 vif=[‘bridge=xenbr0‘]
- 此模式下,需要手动创建本地回环文件作为磁盘文件
- 第三种方式,利用自己(domU)内核+虚拟宿主机负责引导第一阶段+虚拟机xen构建好的根系统,来启动
vim /etc/xen/centos2bootloder="/usr/bin/pygrub" name="centos2" memory=512 vcpus=2 disk=[‘file:/xen/images/centos2.img,xvda,w‘] vif=[‘bridge=xenbr0‘]- 虚拟宿主机的bootloder引导程序定义了内核和initrd文件位置,故而只需要定义硬件信息即可
- 第四种方式,仅有xen和xm工具下,使用cobbler进行网络自动化安装
- 原理是本地(dom0)额外内核+远程ks模板构建根文件系统
- 修改虚机实例配置文件
vim /etc/xen/centos3kernel="/tmp/vmlinuz" ramdisk="/tmp/initrd.img" name="centos3" memory=512 vcpus=2 disk=[‘file:/xen/images/centos3.img,xvda,w‘] extra="ks=http://192.168.182.128/cobbler/ks_mirror/config/ks.cfg" vif=[‘bridge=xenbr0‘] - 创建disk磁盘文件(20G的稀疏磁盘)
dd if=/dev/zero of=/xen/images/centos3.img oflag=direct seek=20479 count=1 bs=1M
- 第五种方式,克隆
- 克隆模式下,程序会对磁盘文件进行修改,比如网卡MAC之类的不能重复数据.
- 第六种方式,磁盘模板
- 磁盘模板:抽调敏感信息的磁盘文件
- 此模式下,在创建虚拟机实例的时候,会将信息注入
- 磁盘模板,有厂商免费提供或者利用工具自己制作,如红帽的oz工具
- 磁盘模板可能没有内核,不过可以在dom0中提供,根文件系统由磁盘模板提供
9. 在xen上生成一个简化linux
- 采用domu内核+dom0引导方式
- 手动创建本地回环文件作为磁盘文件,并关联到空闲loop
losetup -f查看当前空闲lo设备,假设空闲是loop1dd if=/dev/zero of=/xen/images/centos2.img bs=1M count=1024创建一个非稀疏磁盘文件(稀疏磁盘不知道为什么没有柱面,所以无法用fdisk分区)losetup -f /xen/images/centos1.img挂载磁盘文件到当前空闲lo上
- 对磁盘文件进行分区,并挂载boot分区和/分区
fdisk /dev/loop1,创建一个boot分区,和一个根分区- 识别磁盘文件分区
kpartx -a /dev/loop1,用cat /proc/partitions查看是否分区已经识别 - 格式化分区
mke2fs -t ext2 /dev/mapper/loop1p1``mke2fs -t ext2 /dev/mapper/loop1p2 - 挂载boot分区
mount /dev/mapper/loop1p1 /mnt/boot - 挂载根分区
mount /dev/mapper/loop1p2 /mnt/sysroot
- 复制内核文件和创建引导程序,保证内核可以启动
cp /boot/vmlinuz /mnt/boot/vmlinuz``cp /boot/initramfs /mnt/boot/initramfs.img- 创建grub
grub-install --root-directory=/mnt /dev/loop1 - 创建grub配置文件
vim /boot/grub/grub.confdefault 0 timeout 5 title xen centos root (hd0,0) kernel /vmlinuz ro root=/dev/xvda2 selinux=0 init=/sbin/init 3 initrd /initramfs.img- 注释:grub的根路径是boot,root指定根文件系统所在分区,因为是用xen创建的系统,故而sda2就变成了xvda2,也就是虚拟宿主机上的loop1p2,init指定了启动级别
- 复制必要的程序和脚本,构建一个基本的根文件系统,保证内核启动后,用户空间正常
- 复制必要的程序和脚本
init``bash``ls``cat``uname - 提供根文件系统所需的配置文件rcS.conf和rc.sysinit
#cd /mnt/sysroot/ #mkdir -pv proc sys dev tmp var home root usr etc/{rc.d,init} #cp /etc/init/rcS.conf etc/init #vim etc/init/rcS.conf start on startup stop on runlevel task console output exec /etc/rc.d/rc.sysinit #vim etc/rc.d/rc.sysinit #!/bin/bash echo -e "Welcome to my Centos" /bin/bash #chmod u+x etc/rc.d/rc.sysinit
- 复制必要的程序和脚本
- 创建xen虚拟实例配置文件
vim /etc/xen/centos1bootloder=/sbin/pygrub name="centos2" memory=512 #定义虚拟几颗cpu,一般来说宿主机cpu是几个,就虚拟几个,最多不要超过2倍 vcpus=2 disk=[‘file:/xen/images/centos1,xvda,w‘] #vif可以定义多个网卡,[]是列表 vif=[‘bridge=xenbr0‘]
10. 思考
- 虚机实例的磁盘文件可以放在任何地方,故而最好放在集群文件系统上或者高可用集群上.以来保证安全.
11. 附件1,xen实例配置文件参数解析
Xen配置文件一般由选项（options）、变量(variables)、CPU、网络、PCI、HVM、计时器(timers)、驱动(drivers)、磁盘设备(disk devices)、动作(behavior)，以及图形及声音(Graphics and audio)几个段组成，分别用于定义不同类别的域属性或设备属性。
上面的配置文件中的各选项作用如下。
- kernel：为当前域指定可用于DomU的内核文件；
- ramdisk：与kernel指定的内核文件匹配使用的ramdisk映像文件，根据需要指定，此为可选项；
- name：当前域的独有名称；每个域必须使用全局惟一的名称，否则将产生错误；
- memory：当前域的可用物理内存空间大小，单位为MB，默认为128；
- disk：当前域的所有可用磁盘设备列表，格式为disk = [ “disk1”, “disk2”, …]，每个disk都有三个参数进行定义，格式为“backend-dev，front-dev，mode”；
- backend-dev主要有两种类型，物理设备或虚拟磁盘映像文件，它们的格式分别为“phy:device”和“file:/path/to/file”；
- frontend-dev定义其在DomU中的设备类型，一般为xvd[a-z];
- mode则用于定义其访问权限，r为只读，w为读写；
- vcpus：配置给当前域使用的虚拟CPU的个数；默认为1；
- root：为当前域指定其根文件系统所在的设备，这个将作为内核参数在内核启动传递给内核；
- extra：传递给内核的额外参数，其中selinux=0表示禁用selinux，init则用于指定init程序的路径；多个参数之间使用空格隔开；
- on_reboot：执行xm reboot命令或在当前域内部执行重启操作时由Xen执行的动作；其常用的值为destroy和restart；
- on_crash：当前域由于各种原因崩溃时由Xen执行的动作；其常用的值为destroy、restart和preserve，preserve可以保存系统崩溃前的状态信息以用于调试；
- on_shutdown：执行xm shutdown命令或在当前域内部执行关机操作时由Xen执行的动作；
- vif：定义当前域的可用虚拟网络接口列表，每个虚拟网络接口都可以使用“name=value”的格式定义其属性；也可在定义某接口时不指定任何属性，其所有属性将均由系统默认配置；例如：vif = [‘ip = "192.168.1.19", bridge=xenbr0‘]
- type：接口设备的类型，默认为netfront；
- mac：MAC地址，默认为随机；
- bridge：桥接到的物理设备，默认为Dom0中的第一个桥接设备；
- ip：ip地址；
- script：配置此接口的脚本文件，省略时将使用默认的配置脚本；
- vifname：后端设备的设备名称，默认为vifD.N，其中D为当前域的ID，N为此网络接口的ID；
- vfb：为当前域定义虚拟帧缓冲，其有许多可用属性，可以使用“name=value”的格式进行定义；
- vnc或sdl：定义vnc的类型，vnc=1表示启动一个可由外部设备连接的vnc服务器，sdl=1则表示启用一个自有的vncviewer；两者可以同时使用；
- vncdisplay：vnc显示号，默认为当前域的ID，当前域的VNC服务器将监听5900+此显示号的端口；
- vnclisten：VNC服务器监听的地址，默认为127.0.0.1；
- vncunused：如果此属性的值为非零值，则表示vncserver监听大于5900的第一个没被占用的端口；
- vncpasswd：指定VNC服务器的认证密码；
- display：用于域的自有vncviewer显示，默认为DISPLAY环境变量的值；
- cpu：指定当前域应该在哪个物理CPU上启动，0表示第一颗CPU，1表示第二颗，依次类推；默认为-1，表示Xen可自行决定启动当前域的CPU；
- cpus：指定当前域的VCPU可以在哪些物理CPU上运行，如cpus = ”3,5-8,^6”表示当前域的VCPU可以在3，5，7，8号CPU上运行；
- bootloader：bootloader程序的路径；基于此bootloader，PV DomU的内核也可直接位于其文件系统上而非Dom0的文件系统；
xen之基本搭建
时间： 2024-10-24 21:19:32