1     nova命令

先介绍一下nova命令中与网络相关的一些参数。

1.1   指定网络启动虚机

其中，v4/6-fixed-ip不能单独配置，必须和net-id一起配置；在一个--nic中net-id与port-id只能选择一个。

命令示例：

1.2   修改虚机网络

nova支持对于active的虚机添加或删除网卡，对应命令如下：

命令示例：

2     nova介绍

2.1   Nova服务

nova主要服务包括：

nova-api：对外提供rest-api。

nova-conductor：用于分发消息。

nova-scheduler：在创建虚机时，选择计算节点。

nova-compute：在计算节点上运行，负责管理虚机的生命周期。

3     处理流程

3.1   创建虚机流程

用户创建虚机的命令到达nova-api后，通过rpc发给nova-conductor处理。conductor中，先通过nova-scheduler选择虚机调度到的主机，然后发送到对应主机的nova-compute上进行处理。

如下是nova-compute处理虚机创建的详细流程。

与网络相关的部分，简要地可以分为几部：

1）  创建网络资源，此时更新neutron port，或者创建neutron port，返回VIF列表

2）  libvirt spawn，根据VIF列表，配置虚机底层网络，然后起虚机进程，并等待虚机启动完成。

3）  ovs-agent捕获到虚机网卡添加到br-int中，发送rpc给plugin更新neutron db port状态为up。

4）  neutron db检测到端口up，发送network-vif-plug event通知nova端口。

l  日志分析

创建虚机，通过查看nova-computedebug日志，可以大致了解虚机启动过程。

代码分析如下：

l  nova-compute

1. conductor创建虚机的消息通过到达计算节点的nova-compute。

2. nova-compute创建虚机过程：

代码路径：ComputeManager.build_and_run_instance

通过spawn_n异步执行 _do_build_and_run_instance，这样rpcworker可以立即返回接着处理后面的消息了

_do_build_and_run_instance:

1）记录虚机状态为BUILDING

2）记录任务状态为SCHEDULING

3）如果conductor没有传入主机名，已当前主机作为创建资源的node。

4） _build_and_run_instance函数。见下面 _build_and_run_instance。

5）捕获异常RescheduledException，如果配置了不retry，_cleanup_allocated_networks，然后结束。

6）捕获异常RescheduledException，如果配置了retry：

执行cleanup_instance_network_on_host，但这里实际并不会删除neutron port。

记录任务状态为SCHEDULING

本地调用conductor api重新build_instances。

7）捕获InstanceNotFound，UnexpectedDeletingTaskStateError，执行_cleanup_allocated_networks。

8）捕获BuildAbortException，执行_cleanup_allocated_networks。

9）其他异常，_cleanup_allocated_networks，_cleanup_volumes。

结束。

_build_and_run_instance ：

1）_build_resources()创建各种资源，包括网络相关资源。

_build_networks_for_instance()配置网络，见_build_networks_for_instance。

如果失败，报error log，Failed to allocate network(s)。结束。

2）调用driver.spawn创建实例。详见12 spawn.

3）报日志：Took %0.2f seconds to spawn the instance on ‘the hypervisor.

4）捕获异常：InstanceNotFound，ComputeResourcesUnavailable，报异常BuildAbortException

捕获异常：ComputeResourcesUnavailable，报异常：RescheduledException

捕获异常：BuildAbortException，

捕获异常FixedIpLimitExceeded，NoMoreNetworks，NoMoreFixedIps，报异常：BuildAbortException

捕获异常VirtualInterfaceCreateException，VirtualInterfaceMacAddressException，报异常BuildAbortException

捕获异常：FlavorDiskTooSmall，FlavorMemoryTooSmall，ImageNotActive，ImageUnacceptable，报异常：BuildAbortException

捕获其他异常：报异常RescheduledException。

5）删除实例的system_metadata, network_allocated

6）根据network_info分配IP地址。

7）_update_instance_after_spawn

更新虚机的状态为ACTIVE

8）_update_scheduler_instance_info

结束。

3. nova-compute build网络过程：

代码路径： ComputeManager._build_networks_for_instance

1）从instance的system_metadata中查看network_allocated属性，如果已经创建，说明虚机之前调度过，执行如下过程，然后结束。

· 在host上重新setup网络，setup_instance_network_on_host，参数：instance, host。见4 setup_instance_network_on_host.

· 获取并返回网络信息。

2）调用driver.macs_for_instance，生成mac地址。

libvirt driver不需要指定mac，ironic driver需要指定mac。

3）调用driver.dhcp_options_for_instance，生成dhcp_options。

libvirt driver不需要指定dhcp options。

4）更新实例的staus为NETWORKING，调用self._allocate_network分配网络资源。参考6
nova-compute 异步分配网络。

5）结束。

4. nova-compute setup_instance_network_on_host：

代码路径： network.neutronv2.api.API._update_port_binding_for_instance()

1）通过neutronclient遍历Port，根据instance上的device_id和tenant_id过滤Port。

2）如果port的binding:host_id属性不是要配置的host，通过neutronclient的update_port方法更新端口信息。参考5. neutron update_port：

    3）结束。

6. nova-compute异步分配网络：

代码路径：nova/compute/manager.ComputeManager._allocate_network_async

1）调用driver.network_binding_host_id取得虚机所在的host信息。

2）调用network_api.allocate_for_instance，参照7。如果失败，进行重试。

关于重试：

a）配置文件中network_allocate_retries，指定了重试次数，默认为0，表示只创建1次，不重试。

b）重试间隔，1s，2s，4s，8，16，30，30...。

c）重试超过数目后，报异常，Instance failed network setup after %(attempts)d attempt(s)‘。

d）结束。

7. nova-compute 分配网络：

代码路径：nova/network/neutronv2/api.API.allocate_for_instance

1）如果neutronclient有port_binding_extension，使用neutronclient，否则使用admin的neutronclient。

2）检查实例是否有project_id，如果没有，报异常，empty project id for instance %s。结束。

3）根据传入的requested_networks、hypervisor_macs属性，调用_process_requested_networks函数

取得ports, net_ids, ordered_networks, available_macs。详见8.

4）调用_get_available_networks，通过neutronclient取得net_ids对应的network详情。

5）如果配置了requested_networks，但没有查询到networks，报NetworkNotFound异常。结束。

6）如果没有requested_networks，并且没有查询到networks，返回空的network。

7）检测虚机所附属的网络，如果是外部网络，必须是shared网络，否则报ExternalNetworkAttachForbidden异常，然后结束。

8）处理安全组，传入的安全组是安全组名称或者uuid列表。

通过neutronclient查询租户内的安全组。

如果有多个安全组有相同的名称，报NoUniqueMatch异常，Multiple security groups found matching  ‘%s‘. Use an ID to be more specific.

如果查询不到安全组，报SecurityGroupNotFound异常。

查询得到安全组ID列表。

9）遍历所有虚机附属的网络，

如果配置了安全组，并且网络没有配置子网，报SecurityGroupCannotBeApplied异常。

如果配置了安全组，并且port_security_enabled配置为False，报SecurityGroupCannotBeApplied异常。

10）port的device_id配置为instance.uuid，port的device_owner配置为compute:+instance.availability_zone，

port的binding:host_id配置为bind_host_id。

如果网络指定了port-id，通过neutronclient update_port。

如果网络没指定port-id，调用self._create_port创建port，详见9。

11）通过get_instance_nw_info获取网络信息，详见11。

12）返回网络列表。

13）结束。

8. nova-compute 处理已存在port-id：

代码路径：nova/network/neutronv2/api.API._process_requested_networks

1）遍历request 列表。request包含net-id, port-id

2）如果request中包含port-id：

通过neutronclient取得port详情。如果失败报异常，然后结束。

如果tenant_id不是实例的project_id，报PortNotUsable异常，然后结束。

如果port中包含device_id属性，报PortInUse异常，然后结束。

如果port的binding:vif_type属性为VIF_TYPE_BINDING_FAILED，报PortBindingFailed异常，然后结束。

如果指定了available_macs，port的mac_address值必须在available_macs中，否则报PortNotUsable异常，然后结束。

3）结束。

9. nova-compute创建port:

代码路径：nova/network/neutronv2/api.API._create_port

1）如果指定了fixed_ip，填上port[‘fixed_ips‘]属性。

2）填上network_id，admin_state_up，tenant_id属性。

3）如果指定了security_group_ids，填上security_groups属性。

4）如果指定了available_macs，如果available_macs为空，报PortNotFree异常。然后结束创建port。

否则弹出一个mac，填到port mac_address属性里。

5）如果指定了dhcp_opts，填上extra_dhcp_opts属性。

6）通过neutronclient调用create_port。详见10.

如果port的binding:vif_type属性为VIF_TYPE_BINDING_FAILED，调neutronclient删除端口，然后报PortBindingFailed异常。

如果neutron client报InvalidIpForNetworkClient异常，报InvalidInput异常，并且报error log，Neutron error: %(ip)s is not a valid IP address ‘

‘for network %(network_id)s.

如果neutron client报文IpAddressInUseClient异常，报FixedIpAlreadyInUse异常，并报error log，Neutron error: Fixed IP %s is ‘

‘already in use.

如果neutron client报OverQuotaClient异常，报PortLimitExceeded异常，并报error log，Neutron error: Port quota exceeded in tenant: %s

如果neutron client报IpAddressGenerationFailureClient异常，报NoMoreFixedIps异常，并报error log，Neutron error: No more fixed IPs in network: %s

如果neutron client报MacAddressInUseClient异常，报PortInUse异常，并报error log，Neutron error: MAC address %(mac)s is already ‘

‘in use on network %(network)s.

其他异常，保存并直接报一次，并且log，Neutron error creating port on network %s

7）结束。

11. nova-compute get_instance_nw_info:

代码路径：nova/network/api.API.get_instance_nw_info

1）调用_get_instance_nw_info，将nw_info写入db cache。

2）_build_network_info_model。

_build_network_info_model:

1）通过admin权限的neutron client，获取port列表，通过tenant_id和device_id过滤port。

2）返回的结果数据结构是network_model.NetworkInfo，是个list，成员是network_model.VIF.

3）network_model.VIF是个dict，对应虚机虚拟网卡的信息，

包括属性:id, address, type,details, devname, ovs_interfaceid, qbh_params, qbg_params,

active, vnic_type, profile, preserve_on_delete,meta,

这个VIF用于driver plug_vif。

12. driver.spawn:

代码路径：nova/virt/libvirt/driver.LibvirtDriver.spawn

1）查询disk_info信息。

2）_create_image。

3）查询xml _get_guest_xml

4）创建_create_domain_and_network。详见13.

5）等待instance的state为RUNNING

6）结束。

13. _create_domain_and_network

    代码路径：nova/virt/libvirt/driver.LibvertDriver._create_domain_and_network

1) 配置项：vif_plugging_timeout表示读取neutron发来的port_plugin_event消息的超时时间，默认300秒。

2）执行下面的操作，等待neutron发来的event消息。

3）plug_vifs，创建qvo/qbr/qvb，将qvo加入br-int。详见14。

4）setup_basic_filtering

5）prepare_instance_filter

6）apply_instance_filter

7）如果上面执行的动作超时，如果vif_plugging_is_fatal配置为True(默认为True，北基中配置为False），虚机创建失败，否则虚机可以创建成功。

14. plug_vifs

代码路径：nova/virt/libvirt/driver.LibvertDriver.plug_vifs

1) 遍历虚机网络的vif(即neutron port)，执行libvirt_vif_driver的plug动作。

2）libvirt_vif_driver为：LibvirtGenericVIFDriver

3）根据vif_type选择不同的plug函数。对于ovs类型的vif_type:

4）如果端口binding:vif_details上配置了port_filter，并且使能了安全组，或者binding:vif_details中配置了ovs_hybrid_plug。调用plug_ovs_hybrid。

其他情况调用：plug_ovs_bridge，不做任何处理。

plug_ovs_hybrid：

1）如果qbr网桥不存在，

utils.execute(‘brctl‘, ‘addbr‘, br_name, run_as_root=True)

utils.execute(‘brctl‘, ‘setfd‘, br_name, 0, run_as_root=True)

utils.execute(‘brctl‘, ‘stp‘, br_name, ‘off‘, run_as_root=True)

utils.execute(‘tee‘,

(‘/sys/class/net/%s/bridge/multicast_snooping‘ %

br_name),

process_input=‘0‘,

run_as_root=True,

check_exit_code=[0, 1])

2）如果qvo不存在，

linux_net._create_veth_pair(v1_name, v2_name)

utils.execute(‘ip‘, ‘link‘, ‘set‘, br_name, ‘up‘, run_as_root=True)

utils.execute(‘brctl‘, ‘addif‘, br_name, v1_name, run_as_root=True)

_ovs_vsctl([‘--‘, ‘--if-exists‘, ‘del-port‘, dev, ‘--‘,

‘add-port‘, bridge, dev,

‘--‘, ‘set‘, ‘Interface‘, dev,

‘external-ids:iface-id=%s‘ % iface_id,

‘external-ids:iface-status=active‘,

‘external-ids:attached-mac=%s‘ % mac,

‘external-ids:vm-uuid=%s‘ % instance_id])

如果使能了MTU配置，

utils.execute(‘ip‘, ‘link‘, ‘set‘, dev, ‘mtu‘,

mtu, run_as_root=True,

check_exit_code=[0, 2, 254])

l  neutron plugin

5. neutron update_port：

Ml2Plugin继承db_base_plugin_v2.NeutronDbPluginV2，

NeutronDbPluginV2实现了update_port方法。

代码路径：

1）检查device_owner和device_id。

代码：_enforce_device_owner_not_router_intf_or_device_id

如果普通租户要修改owner或者device_id，如果owner修改为network:router_interface或者network:router_interface_distributed，

查询l3plugin中是否存在此router-id，如果存在，报异常，DeviceIDNotOwnedByTenant。

如果l3plugin不存在，也报异常，DeviceIDNotOwnedByTenant。

2）检查mac地址：

代码：_check_mac_addr_update

如果修改mac字段，检测device_owner，如果以network:打头，不允许修改，报异常，UnsupportedPortDeviceOwner。

3）如果修改fixed_ip字段：

代码：_update_ips_for_port

检测是否超过max_fixed_ips_per_port，默认5个。如果超过，报异常，Exceeded maximim amount of fixed ips per port。

这里还有其他一些检查，报各种异常，不展开了。

存储已分配的IP：_store_ip_allocation

4）更新port，写入db：

port.update(xxx)

session.flush()

5） 结束。

10. neutron 创建port:

代码路径：neutron/plugins/ml2/plugin.ML2Plugin.create_port

1) _create_port_db 见下面

2) 发送events.AFTER_CREATE

3）调用mech_driver的create_port_postcommit

4）_set_default_qos，配置端口默认qos

5）如果port是dhcp或router，调security_groups_provider_updated

否则触发security_groups_member_updated，更新安全组成员。

6）_bind_port_if_needed，如果前面没有bind_port，这里会进行bind。

_create_port_db:

代码路径：neutron/plugins/ml2/plugin.ML2Plugin._create_port_db

1）db.create_port，见下面。

2）调extension.create_port

3) 如果配置了port-security，处理port-security。

4）调db.add_port_binding

5）_process_port_binding

6）处理allowed_address_pairs

7）处理extra_dhcp_opts

8）mech)driver.create_port_precommit

db.create_port:

代码路径：neutron/db/db_base_plugin_v2.NeutronDbPluginV2.create_port

1）如果port中没有id属性，通过uuidutils.generate_uuid生成一个uuid。

2）从port里，或者context里取tenant_id属性。如果两者不一致，报AdminRequired异常，Cannot create resource for another tenant。

3）如果配置了device_owner，检查device_owner和device_id。

代码：_enforce_device_owner_not_router_intf_or_device_id

如果普通租户要修改owner或者device_id，如果owner修改为network:router_interface或者network:router_interface_distributed，

查询l3plugin中是否存在此router-id，如果存在，报异常，DeviceIDNotOwnedByTenant。

如果l3plugin不存在，也报异常，DeviceIDNotOwnedByTenant。

4）调用get_network，确保网络存在。

5）如果mac不存在，调用_generate_mac生成mac。如果出错，按照配置文件中mac_generation_retries可以多试几次。

如果mac生成失败，报MacAddressGenerationFailure异常，并且报error 日志，Unable to generate mac address after %s attempts。

6）通过mac往neutron db中写port，如果db报DBDuplicateEntry异常，报MacAddressInUse异常。

7）结束。

3.2   删除虚机流程

删除虚机相对于创建虚机比较简单，不重点分析了。

1. nova/compute/manager.py ComputeManager

terminate_instance,

_delete_instance

1) clear_events_for_instance

2) 置虚机状态delete.start

3) _shutdown_instance

4) instance.info_cache.delete()

5) _cleanup_volumes

6) 置虚机状态vm_states.DELETED

7) instance.destroy() 删除db

8) _complete_deletion，

恢复quota, 删除block device mappings

如果使能了vnc，清楚vnc授权key

通知scheduler删除虚机调度信息

2 _shutdown_instance

1) 从cache中取得network_info，如果没有cache，空的network_info

2) 读取block_device_info，

3) 调libvirt driver.destroy.

4) _try_deallocate_network，删除在neutron中创建的nova port。

5)删除volume。

3 driver.destroy.

_destroy

1) virt_dom.destroy()删除虚机qemu进程

cleanup

1) _unplug_vifs

2) unfilter_instance删除安全组规则

3) 删除磁盘文件。

4. unplug_vifs

1）只有binding:vif_details   | {"port_filter": true, "ovs_hybrid_plug": true}才会删除port。

2）执行命令：‘brctl‘, ‘delif‘, br_name, v1_name, 将qvb从qbr中删除

3) 执行命令‘ip‘, ‘link‘, ‘set‘, br_name, ‘down‘,将qbr down掉

4）执行命令：‘brctl‘, ‘delbr‘, br_name,   删除qbr

5）执行命令：_ovs_vsctl([‘--‘, ‘--if-exists‘, ‘del-port‘, bridge, dev])，从br-int中删除qvo

6）执行命令：‘ip‘, ‘link‘, ‘delete‘, dev,删除qbo

3.3    port-binding

nova-compute创建虚机时通过update-port，更新了device_id和device_owner和binding:host_id属性。

ml2plugin在收到update_port或者create_port时，会进行port-binding，填写port的binding:profile，binding:vif_details,binding:vif_type,和binding:vnic_type属性。

比如

我们可能会遇到binding:vif_type为binding_failed的现象，一般这种情况出现在部署阶段，原因是配置错误。

这里列举几个常见binding_failed的原因：

1. agent配置中没有配置tenant_type。

2. 创建vlan/flat网络时指定physical_network，但是配置文件中没有。

3. 创建的网络类型在所有的ovs-agent配置文件中都没有定义。

3.4   nova-compute中的数据结构

在查看代码时，经常可以看到网络相关变量，如果不知道数据结构代码比较难理解。

nova中网络相关的数据结构定义在：nova/network/model.py中。

主要的model:networkInfo,VIF, Network

networkInfo是基于list派生出的类，其成员是VIF。

VIF是基于dict派生出的类，描述的是虚机的一个虚拟网卡的信息。

VIF属性主要包括：id，address，network，type，details，devname，ovs_interfaceid，active，                     vnic_type，profile。

其中：

network是Network model。

ovs_interfaceid，在vif_type是ovs时，为port-uuid，vif_type是其他时，为空。

devname为tap+port uuid，截取14字符。

Network model描述了虚机网卡对应的网络信息。

主要属性包括：id，bridge，label，tenant_id ，subnets。

其中id是网络id，bridge是绑定的网桥，比如br-int，label是网络名称，

4     附录

4.1   虚机端口恢复脚本

我们可能会遇到虚机是存在的，但底层qvb/qvo/qbr配置不正确的现象，这有可能是虚机创建或迁移过程中出现的，在k版代码中，重启nova-compute可会恢复qvb/qbr/qvo的配置。

但在I版中，或者在上线业务中，不能随意重启nova-compute，此时我们需要手动恢复端口。

脚本内容如下：

5     FAQ

1. qbo口是哪个服务进程在何时加入br-int的?

nova-compute在spawn时，通过libvirtdriver plug方法加入的。

2. neutron db中的nova port是那哪个服务进程在何时创建的？

nova-compute在创建虚机创建网络资源时通过neutron client create-port创建的。

3.创建虚机时出现no valid host可能有哪些原因？

4. ovs-agent如何知道虚机创建了，如何指定qvo与虚机的对应关系？

nova-compute将qvo加入br-int时，会配置port-uuid信息，通过ovsdb-monitor监控db变化，

通过uuid找到对应的neutron port。

5.如果nova-compute始终收不到network-vif-plug的event，虚机行为是怎样？

根据vif_plugging_is_fatal配置项决定创建虚机是否失败。