Online Resource Mapping for SDN Network Hypervisors using Machine Learning

发表时间:2016

一些定义:

  • self-configuring networks:
  • FlowVisor:

    FlowVisor是建立在OpenFlow之上的网络虚拟化工具,它可以将物理网络划分成多个逻辑网络,从而实现虚网划分。

  • 数据中心:

百度百科定义:数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。

维基百科:给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。

A network hypervisor is a program that provides an abstraction layer for network hardware.

Network hypervisors allow network engineers to create virtual networks that are completely decoupled and independent from the underlying physical network. The hypervisor enables segments of a virtual network to be managed independently and to be provisioned dynamically.

(网络管理程序是为网络硬件提供抽象层的程序,允许网络工程师创建完全解耦且独立于底层物理网络的虚拟网络)

  • 什么是Hypervisor(虚拟机监视器,英语:virtual machine monitor,缩写为 VMM):

Hypervisor是一种将操作系统与硬件抽象分离的方法,以达到host machine的硬件能同时运行一个至多个虚拟机作为guest machine的目的,这样能够使得这些虚拟机高效地分享主机硬件资源。

被Hypervisor用来执行一个或多个虚拟机器的电脑称为主体机器(host machine),这些虚拟机器则称为客体机器(guest machine)

  • Hypervisor的种类:
  • bare-metal hypervisors:直接部署在主机硬件上,以管理硬件和guest machine,不需要底层操作系统。(虚拟管理程序直接运行在主机硬件上,如KVM虚拟机)
  • hosted hypervisors:作为软件层部署在主机操作系统上,现在常用的VMware Player和VirtualBox就是这种类型。(比如个人使用的VMware运行在Windows操作系统上)

  • OpenVirteX:

    OpenVirteX(以下简写为OVX)是一个网络虚拟化平台,操作人员可以用来创建和管理虚拟SDN网络(vSDNs)。租户可以通过虚拟化的OF网络构建特定的网络拓扑,寻址等。同FlowVisor相似,OVX也处于Physical Network与Controller的中间层,担任相同的角色。两者区别在于对数据包头的处理粒度不同,FlowVisor会根据flowspace的信息(如端口、ip地址等)将不同主机进行划分,以此来组成不同的slice。而OVX则是提供一个完整的虚拟网络。

  • offline benchmarks:


在先前的工作中,管理程序的资源映射是基于离线基准(offline benchmarks)的,这种离线基准可以根据控制平面的工作负载(比如控制平面消息速率)来测量管理程序的资源消耗。离线基准测试因不同的管理程序的环境而产生变化,例如采用的是多线程还是单线程,并取决于所部属的硬件平台的能力(CPU的处理能力)。

作者提出基于机器学习的在线方法(online approach),以确定在运行时将管理程序资源映射到所控制的工作负载。

sdn network hypervisors运行在租户控制器和数据平面的虚拟资源之间的中间软件层,负责将租户的SDN控制器连接到他们的虚拟网络之中,还负责控制和管理物理数据平面资源的分配(例如在不同租户之间的网络带宽)。

在虚拟化网络中,和非虚拟化SDN网络一样,控制平面的性能会对数据平面的性能产生严重影响。网络管理程序实例过载的情况下,会影响租户对控制平面消息的处理,进而对租户的数据平面性能产生负面影响。因此,当请求虚拟SDN网络时,租户应要求数据平面资源和控制平面资源;网络管理程序要保证每个租户的数据平面资源和控制平面资源的性能。当管理程序处理租户的控制流量时,就需要复杂的资源映射。

目的:运用在线机器学习,在运行时估计不同资源模型的参数设置,使网络管理程序能够以自我配置的方式进行工作。(自我配置的例子比如:用于云系统的虚拟机的配置)。

作者所做的工作:通过对网络过虚拟机监控程序的测试,证明了SDN虚拟机监控程序的可行性。由于现有的基准测试工具不允许对特定的控制混合流量进行分类,我们开发了自己的基准测试框架hvbench,与现有的解决方案如cbench[10]、ofcBenchmark[11]、SDLoad[12]、PktBlaster[13]和[14]中提出的框架相比,hvbench有更灵活的流量混合和消息到达时间。为了达到测量目的,作者模拟了具有特定控制流量混合的虚拟网络租户(这一点可以在下面的实验配置部分体现出来),测量结果证明了在线学习资源分配映射的可行性。

hvbench是什么:

由作者设计的一个管理程序基准测试工具。可以根据概率分布生成控制的混合流量(control traffic mixes)(我的理解是:这个管理程序对多个租户的控制流量进行监测)。

Network traffic control :网络流量控制是管理、控制或减少网络流量的过程,尤其是因特网带宽,例如数据包通过网络调度器(Network scheduler)。网络管理员使用它来减少拥塞,延迟和丢包。属于宽带管理的一部分,是数据中心的一个重要主题。

实验装置如下:

包括基于mininet的模拟SDN数据平面,网络管理程序实例,资源监测器和基准测试工作hvbench。配置一个虚拟网络,其中hvbench充当该虚拟网络的控制器。

设置的参数:

管理程序的三种处理模型:

下一步描述迭代拟合过程,在过程中逐步估计模型系数,遂作者定义了初步的参数的值:

在线学习模型:

在线学习是一个三个阶段的迭代过程:

第一阶段是收集新的样本;第二阶段是将模型函数拟合到收集的样本中;第三阶段,根据拟合的结果更新模型。当出现新样本时,该过程又会不断地重复进行。

对比的实验:评估了两个基于OpenFlow的Sdn管理程序,FlowVisor和OpenVirtex的学习处理模型。结果表明,线性的模型不足以预测CPU消耗,而指数模型的表现更好。

原文地址:https://www.cnblogs.com/codingbylch/p/9874319.html

时间: 2024-10-11 03:26:50

Online Resource Mapping for SDN Network Hypervisors using Machine Learning的相关文章

Python -- machine learning, neural network -- PyBrain 机器学习 神经网络

I am using pybrain on my Linuxmint 13 x86_64 PC. As what it is described: PyBrain is a modular Machine Learning Library for Python. Its goal is to offer flexible, easy-to-use yet still powerful algorithms for Machine Learning Tasks and a variety of p

machine learning 之 Neural Network 1

整理自Andrew Ng的machine learning课程week 4. 目录: 为什么要用神经网络 神经网络的模型表示 1 神经网络的模型表示 2 实例1 实例2 多分类问题 1.为什么要用神经网络 当我们有大量的features时:如$x_1, x_2,x_3.......x_{100}$ 假设我们现在使用一个非线性的模型,多项式最高次为2次,那么对于非线性分类问题而言,如果使用逻辑回归的话: $g(\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_1

Multi-attention Network for One Shot Learning

Multi-attention Network for One Shot Learning 2018-05-15 22:35:50  本文的贡献点在于: 1. 表明类别标签信息对 one shot learning 可以提供帮助,并且设计一种方法来挖掘该信息: 2. 提出一种 attention network 来产生 attention maps  for creating the image representation of an exemplar image in novel class

CheeseZH: Stanford University: Machine Learning Ex4:Training Neural Network(Backpropagation Algorithm)

1. Feedforward and cost function; 2.Regularized cost function: 3.Sigmoid gradient The gradient for the sigmoid function can be computed as: where: 4.Random initialization randInitializeWeights.m 1 function W = randInitializeWeights(L_in, L_out) 2 %RA

CheeseZH: Stanford University: Machine Learning Ex3: Multiclass Logistic Regression and Neural Network Prediction

Handwritten digits recognition (0-9) Multi-class Logistic Regression 1. Vectorizing Logistic Regression (1) Vectorizing the cost function (2) Vectorizing the gradient (3) Vectorizing the regularized cost function (4) Vectorizing the regularized gradi

A Survey of Machine Learning Techniques Applied to Software Defined Networking (SDN): Research Issues and Challenges

将机器学习用到SDN中的综述:研究的问题和挑战 从流量分类.路由优化.服务质量(Qos)/体验质量(QoE)预测.资源管理和安全性的角度,回顾了机器学习算法如何应用于SDN领域. 相关知识 在SDN中应用机器学习是合适的原因: 图形处理单元GPU和张量处理单元TPU等技术为机器学习提供了很好的机会: 集中式SDN控制器具有全局网络视图,能够收集各种网络数据,便于机器学习算法的应用. 基于实时和历史网络数据,机器学习技术可以通过执行数据分析,网络优化和网络服务的自动提供来为SDN控制器提供智能化.

Andrew Ng 的 Machine Learning 课程学习 (week5) Neural Network Learning

这学期一直在跟进 Coursera上的 Machina Learning 公开课, 老师Andrew Ng是coursera的创始人之一,Machine Learning方面的大牛.这门课程对想要了解和初步掌握机器学习的人来说是不二的选择.这门课程涵盖了机器学习的一些基本概念和方法,同时这门课程的编程作业对于掌握这些概念和方法起到了巨大的作用. 课程地址 https://www.coursera.org/learn/machine-learning 笔记主要是简要记录下课程内容,以及MATLAB

(转)Awesome Courses

Awesome Courses  Introduction There is a lot of hidden treasure lying within university pages scattered across the internet. This list is an attempt to bring to light those awesome courses which make their high-quality material i.e. assignments, lect

GPS轨迹数据集免费下载资源整理

本文主要是整理了GPS轨迹数据集免费资源库,从这些库中能够免费下载到GPS数据,同时还整理出了这些数据的格式,数据集的简单描述等等.如果你发现更好的相关数据资源,欢迎共享 :) 1. GeoLife GPS Trajectories 该GPS轨迹数据集出自微软研究GeoLift项目.从2007年四月到2012年八月收集了182个用户的轨迹数据.这些数据包含了一系列以时间为序的点,每一个点包含经纬度.海拔等信息.包含了17621个轨迹,总距离120多万公里,总时间48000多小时.这些数据不仅仅记