KVM虚拟化网络优化技术总结

一个完整的数据包从虚拟机到物理机的路径是:

虚拟机--QEMU虚拟网卡--虚拟化层--内核网桥--物理网卡

KVM的网络优化方案,总的来说,就是让虚拟机访问物理网卡的层数更少,直至对物理网卡的单独占领,和物理机一样的使用物理网卡,达到和物理机一样的网络性能。

方案一 全虚拟化网卡和virtio

Virtio与全虚拟化网卡区别    
全虚拟化网卡是虚拟化层完全模拟出来的网卡,半虚拟化网卡通过驱动对操作系统做了改造;    
viritio简单的说,就是告诉虚拟机,hi 你就是在一个虚拟化平台上跑,咱们一起做一些改动,让你在虚拟化平台上获得更好的性能;    

关于virtio的使用场景    
因 为windows虚拟机使用viritio有网络闪断的情况发生,windows 虚拟机如果网络压力不高,建议使用e1000这样的全虚拟化网卡,如果网络压力比较高,建议使用SRIVO或者PCI Device Assignment这样的技术;viritio也在不断的演进,希望windows的闪断的问题越来越少。

KVM天生就是为linux系统设计的,linux系统请放心大胆的使用viritio驱动;

方案二 vhost_net macvtap技术

vhost_net使虚拟机的网络通讯直接绕过用户空间的虚拟化层,直接可以和内核通讯,从而提供虚拟机的网络性能;

macvtap则是跳过内核的网桥;

使用vhost_net,必须使用virtio半虚拟化网卡;

vhost_net虚拟机xml文件配置,

<interface type=‘bridge‘>
     <mac address=‘‘/>
     <source bridge=‘br0‘/>
     <model type=‘virtio‘/>
<driver name="vhost"/>
     <address type=‘pci‘ domain=‘0x0000‘ bus=‘0x00‘ slot=‘0x03‘ function=‘0x0‘/>
   </interface>

如果不使用vhost_net,则为

<driver name="qemu"/>

macvtap 虚拟机xml配置

<interface type=‘direct‘>
      <mac address=‘00:16:3e:d5:d6:77‘/>
      <source dev=‘lo‘ mode=‘bridge‘/>
      <model type=‘e1000‘/>
      <address type=‘pci‘ domain=‘0x0000‘ bus=‘0x00‘ slot=‘0x03‘ function=‘0x0‘/>
    </interface>

注意:macvtap在windows虚拟机上性能很差,不建议使用

vhost_net macvtap比较

macvlan的功能是给同一个物理网卡配置多个MAC地址,这样可以在软件商配置多个以太网口,属于物理层的功能。  
macvtap是用来替代TUN/TAP和Bridge内核模块,macvtap是基于macvlan这个模块,提供TUN/TAP中tap设备使用的接口,    
使用macvtap以太网口的虚拟机能够通过tap设备接口,直接将数据传递到内核中对应的macvtap以太网口。    
vhost-net是对于virtio的优化,virtio本来是设计用于进行客户系统的前端与VMM的后端通信,减少硬件虚拟化方式下根模式个非根模式的切换。    
而是用vhost-net后,可以进一步进入CPU的根模式后,需要进入用户态将数据发送到tap设备后再次切入内核态的开销,而是进入内核态后不需要在进行内核态用户态的切换,进一步减少这种特权级的切换,说vhost-net属于哪个层不准确,而是属于进行二层网络数据传递的优化。

方案三 虚拟机网卡独占

网卡passthrough在虚拟机的配置方法

1 使用lcpci 设备查看pci设备信息

04:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
04:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

也可以使用virsh nodedev-list –tree得到信息

+- pci_0000_00_07_0
|   |
|   +- pci_0000_04_00_0
|   |   |
|   |   +- net_p1p1_00_1b_21_88_69_dc
|   |  
|   +- pci_0000_04_00_1
|       |
|       +- net_p1p2_00_1b_21_88_69_dd

2 使用virsh nodedev-dumxml pci_0000_04_00_0得到xml配置信息

[[email protected]]# virsh nodedev-dumpxml pci_0000_04_00_0
<device>
<name>pci_0000_04_00_0</name>
<parent>pci_0000_00_07_0</parent>
<driver>
   <name>e1000e</name>
</driver>
<capability type=‘pci‘>
   <domain>0</domain>
   <bus>4</bus>
   <slot>0</slot>
   <function>0</function>
   <product id=‘0x105e‘>82571EB Gigabit Ethernet Controller</product>
   <vendor id=‘0x8086‘>Intel Corporation</vendor>
</capability>
</device>

3 编辑虚拟机xml文件,加入pci设备信息

<hostdev mode=‘subsystem‘ type=‘pci‘ managed=‘yes‘>
     <source>
       <address domain=‘0x0000‘ bus=‘0x04‘ slot=‘0x00‘ function=‘0x0‘/>
     </source>
</hostdev>

Domain bus slot function信息从dumpxml出的xml文件获取,define虚拟机,然后开启虚拟机就可以,注意以为附件上去的是物理设备,需要在系统里面安装相应的驱动。

方案四 SR-IVO技术


SRIOV的原理    
SR-IVO 是the single root I/O virtualization 的简写,是一个将PCIe共享给虚拟机使用的标准,目前用在网络设备上比较多,理论上也可以支持其他的PCI设备,SRIOV需要硬件的支持。

以下内容来自oracle网站,链接为  
http://docs.oracle.com/cd/E38902_01/html/E38873/glbzi.html

物理功能 (Physical Function, PF)  
用 于支持 SR-IOV 功能的 PCI 功能,如 SR-IOV 规范中定义。PF 包含 SR-IOV 功能结构,用于管理 SR-IOV 功能。PF 是全功能的 PCIe 功能,可以像其他任何 PCIe 设备一样进行发现、管理和处理。PF 拥有完全配置资源,可以用于配置或控制 PCIe 设备。    
虚拟功能 (Virtual Function, VF)    
与物理功能关联的一种功能。VF 是一种轻量级 PCIe 功能,可以与物理功能以及与同一物理功能关联的其他 VF 共享一个或多个物理资源。VF 仅允许拥有用于其自身行为的配置资源。    
每 个 SR-IOV 设备都可有一个物理功能 (Physical Function, PF),并且每个 PF 最多可有 64,000 个与其关联的虚拟功能 (Virtual Function, VF)。PF 可以通过寄存器创建 VF,这些寄存器设计有专用于此目的的属性。    
一 旦在 PF 中启用了 SR-IOV,就可以通过 PF 的总线、设备和功能编号(路由 ID)访问各个 VF 的 PCI 配置空间。每个 VF 都具有一个 PCI 内存空间,用于映射其寄存器集。VF 设备驱动程序对寄存器集进行操作以启用其功能,并且显示为实际存在的 PCI 设备。创建 VF 后,可以直接将其指定给 IO 来宾域或各个应用程序(如裸机平台上的 Oracle Solaris Zones)。此功能使得虚拟功能可以共享物理设备,并在没有 CPU 和虚拟机管理程序软件开销的情况下执行 I/O。    
SR-IOV 的优点    
SR-IOV 标准允许在 IO 来宾域之间高效共享 PCIe 设备。SR-IOV 设备可以具有数百个与某个物理功能 (Physical Function, PF) 关联的虚拟功能 (Virtual Function, VF)。VF 的创建可由 PF 通过设计用来开启 SR-IOV 功能的寄存器以动态方式进行控制。缺省情况下,SR-IOV 功能处于禁用状态,PF 充当传统 PCIe 设备。    
具有 SR-IOV 功能的设备可以利用以下优点:    
性能-从虚拟机环境直接访问硬件。    
成本降低-节省的资本和运营开销包括:    
节能    
减少了适配器数量    
简化了布线    
减少了交换机端口    
SRIOV的使用    
启动SRIVO内核模块    
modprobe igb    
激活虚拟功能VF    
modprobe igb max_vfs=7    
千兆网卡最多支持8个vf0-7,千兆网卡目前支持比较好的是INTEL I350, 82576S虽然也支持SRIOV但是只支持虚拟机是linux的情况,windows系统不支持;    
万兆网卡最多支持64个vg0-63,intel的新新一代万兆网卡都支持SRIOV x520 x540等;    
如果需要重新设置vf 可以删除模块在重新加载    
modprobe -r igb    
将配置永久写入配置文件    
echo "options igb max_vfs=7" >>/etc/modprobe.d/igb.conf    
通过lspci命令可以看多主网卡和子网卡

# lspci | grep 82576    
0b:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)    
0b:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)    
0b:10.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.6 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:10.7 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)    
0b:11.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)

虚拟机可以听过pci网卡独占的方式使用子网卡;

# virsh nodedev-list | grep 0b    
pci_0000_0b_00_0    
pci_0000_0b_00_1    
pci_0000_0b_10_0    
pci_0000_0b_10_1    
pci_0000_0b_10_2    
pci_0000_0b_10_3    
pci_0000_0b_10_4    
pci_0000_0b_10_5    
pci_0000_0b_10_6    
pci_0000_0b_11_7    
pci_0000_0b_11_1    
pci_0000_0b_11_2    
pci_0000_0b_11_3    
pci_0000_0b_11_4    
pci_0000_0b_11_5

虚拟机网卡xml文件

<interface type=‘hostdev‘ managed=‘yes‘>    
    <source>    
      <address type=‘pci‘ domain=‘0‘ bus=‘11‘ slot=‘16‘ function=‘0‘/>    
    </source>    
  </interface>

方案五 网卡多队列

centos 7开始支持virtio网卡多队列,可以大大提高虚拟机网络性能,配置方法如下:

虚拟机的xml网卡配置

<interface type=‘network‘>
     <source network=‘default‘/>        <model type=‘virtio‘/>         <driver name=‘vhost‘ queues=‘N‘/>    </interface>

N 1 - 8 最多支持8个队列

在虚拟机上执行以下命令开启多队列网卡

#ethtool -L eth0 combined M

M 1 - N M小于等于N

KVM网络优化方案个人认为以硬件为主,硬件上万兆+SRIOV的方案会越来越普及,但是在线迁移的问题有待解决。

时间: 2024-10-27 00:12:46

KVM虚拟化网络优化技术总结的相关文章

KVM虚拟化CPU技术总结

KVM虚拟化CPU技术总结 一 NUMA技术介绍NUMA是一种解决多CPU共同工作的技术方案,我们先回顾下多CPU共同工作的技术架构历史.多CPU共同工作主要有三种架构,分别是SMP MPP NUMA架构.SMP MPP NUMA 都是为了解决多CPU共同工作的问题.早期的时候,每台服务器都是单CPU,随着技术发展,出现了多CPU共同工作的需求,最早的多CPU技术是SMP.SMP 多个CPU通过一个总线访问存储器,因此SMP系统有时也被称为一致存储器访问(UMA)结构体系,一致性意指无论在什么时

kvm虚拟化技术应用实战

本文根据上课笔记整理,大家都知道云计算的基础就是虚拟化,而开源的虚拟化基本以kvm技术为主导,因此kvm技术已成为运维工程师必备的技术,也是云时代必不可少的技术 在介绍kvm之前 我们先来了解一下vnc这个软件,后面安装kvm需要vnc来支持 1.vnc的安装及使用 # yum -y install tigervnc-server 首次启动 # vncserver :1 会提示输入两次密码 然后编辑/root/.vnc/xstartup,将最后一行twm替换为gnome-session或者sta

KVM虚拟化技术

KVM虚拟化技术 Qemu-kvm kvm Qemu-kvm创建和管理虚拟机 1.KVM简介 KVM(名称来自英语:Kernel-basedVirtual Machine的缩写,即基于内核的虚拟机),是一种用于Linux内核中的虚拟化基础设施,可以将Linux内核转化为一个hypervisor.KVM在2007年2月被导入Linux 2.6.20核心中,以可加载核心模块的方式被移植到FreeBSD及illumos上. KVM在具备Intel VT或AMD-V功能的x86平台上运行.它也被移植到S

KVM虚拟化技术之使用Qemu-kvm创建和管理虚拟机

一.KVM简介 KVM(名称来自英语:Kernel-basedVirtual Machine的缩写,即基于内核的虚拟机),是一种用于Linux内核中的虚拟化基础设施,可以将Linux内核转化为一个hypervisor.KVM在2007年2月被导入Linux 2.6.20核心中,以可加载核心模块的方式被移植到FreeBSD及illumos上. KVM在具备Intel VT或AMD-V功能的x86平台上运行.它也被移植到S/390,PowerPC与IA-64平台上.在Linux内核3.9版中,加入A

深入浅出KVM虚拟化技术

深入浅出KVM虚拟化技术 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 其实虚拟化技术已经不是一个新技术了,上个世纪六十年代IBM公司已经在使用,只不过后来随着PC机的出现,虚拟化为最初的应用目的已经可用武之地了,但是随着X86系统的增多以及PC机性能的提升以及现在业务模式的需要,所以使得虚拟化技术再一次蓬勃发展起来.在上个世纪的1974年有2位很著名的教授Popek和Glodberg在一篇论文中定义了经典虚拟化应该至少满足三个需求: 1>.等价执行(除了资源可用性以及时间上

Linux下kvm虚拟化技术的安装与使用

Linux下kvm虚拟化技术的安装与使用 云时代的到来,虚拟化的广泛应用.让我们重新的科技进行了定义.而当下知名的虚拟化产品有 vmware vsphere ,Hyper-v,xen,kvm.vmware的虚拟化所占的市场有目共睹,Hyper-V是windows平台下的虚拟化,而Xen就属于一个半虚拟化产品.kvm就是我们今天所介绍的对象. (kvm是kernel virtual module的简写)kvm是红帽公司5.4版本后所推出的最新虚拟化技术产品.它和vpc,virtual  box都属

[转] KVM虚拟化技术生态环境介绍

KVM虚拟化技术生态环境介绍 http://xanpeng.github.io/wiki/virt/kvm-virtulization-echosystem-intro.html kvm和qemu/qemu-kvm的关系 qemu vs. qemu-kvm: 从qemu 1.3开始,kvm userspace code就维护在qemu mainline中(git clone https://git.kernel.org/pub/scm/virt/kvm/qemu-kvm.git, ref) qe

linux运维、架构之路-KVM虚拟化技术

一.云计算概述 云计算:是一种资源使用和交付模式 虚拟化:一种具体的技术,用来将物理机虚拟成为多个相互独立的虚拟机.云计算不等于虚拟化,云计算是使用了虚拟化的技术做支撑 二.KVM配置使用 1.系统环境 [[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [[email protected] ~]# uname -r 3.10.0-327.el7.x86_64 [[email pr

KVM虚拟化技术(一)

KVM虚拟化技术(一) =============================================================================== 概述: =============================================================================== 虚拟化技术基础 1.介绍 ★cpu虚拟化: ☉模拟:emulation ☉虚拟:virtulization 完全虚拟化(full-virtuliza