斯坦福凸优化课程Video2-2_



title: 斯坦福凸优化课程Video2-2

tags: note

notebook: 6- 英文课程-14-convex optimization

---

斯坦福凸优化课程Video2-2

超平面和半空间hyperplane and half place

类似于形式 ,就是一种超平面,在这里A和是向量,b是标量,所以x是一个向量,代表了一个平面或者一个超平面(在不同的维度上)。

对于半空间,其实就是把上文中平面的方程中的等号边成不等号,所表示的区域就从平面变成了整个空间的一部分,也称为半空间。定义如下:

球和椭圆ellipsoids

我们还可以用模的形式对其他的一些图形集合进行描述,比如球

可以用如下的形式描述:

可以看到双竖线描述的是范数,可以理解为距离,这个不等式将x与x0的距离约束到了r以内,就描述了一个球的集合。

还可以用另外一个描述方式,就是圆心和半径的形式,思想式相同的。

当然还可以描述椭球,方程如下:

这个方程式是之前的球的方程的一个边形,不等式左边的是一个二次型,描述了x与xc的二次型的表达。从而描述了一个被压扁的圆,也就是椭圆。

模球和模锥

首先介绍模的概念:模描述的是两个点之间的距离,模有如下三个规则。

  • 第一个是恒大于0
  • 第二个是可以提出系数
  • 还有就是三角不等式,使用距离的定义都很好理解

polyhedra 多面体

一系列的线性不等式的解我们称为多面体,线性不等式可以描述为下面的形式:

其中这个符号表示 矩阵的不等关系,这个方程的解再二维条件下得到的解区域为

positive semidefinite cone 正半定锥

下面我们要定义这样几个符号:

  1. 是一个n维空间中的集合
  2. 是一个集合,集合里的元素满足约束,也就是说,对于中的所有的元素,他们都满足》= 0的约束,我们再下面的例子中也可以看到。
  3. 这个的概念和上面的 差不多,只不过将大于等于变成了严格的大于。

举个例子来说,就是这样,如果我们的方程是这样的:

那么得到的解就是,他组成的二次型大于0,画出图像来是这样的。

原文地址:https://www.cnblogs.com/zangzelin/p/8516860.html

时间: 2024-10-12 11:55:18

斯坦福凸优化课程Video2-2_的相关文章

斯坦福凸优化课程Video2.4

title: 斯坦福凸优化课程Video2-4 tags: note notebook: 6- 英文课程-14-convex optimization --- 斯坦福凸优化课程Video2-4 超平面分离理论 如果两个集合是可分离的凸集那么可以满足下面的条件. 在这个条件下,我们画出的图像是这样的: 可以看到,如上图所示的,如果可以用一条直线,超平面,将两个集合划分开来,那么称两个集合为可分离集合. 也同时可以称,直线$ x | a^Tx=b $可以分离C和D. 支持超平面原理 支持超平面是满足

CMU Convex Optimization(凸优化)笔记1--凸集和凸函数

CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了部分内容做了笔记,很感谢Ryan Tibshirani在官网中所作的课程内容开源.也很感谢韩龙飞在CMU凸优化课程中的中文笔记,我在其基础上做了大量的内容参考.才疏学浅,忘不吝赐教. 1.凸集合 1.1 基本概念 定义:给定一个集合$C \subseteq \mathbb{R}^n $,满足下列条件

凸优化

凸优化 作者:樱花猪 摘要: 本文为七月算法(julyedu.com)12月机器学习第四次课在线笔记."凸优化"指的是一种比较特殊的优化,通过"凸优化"我们能够把目标函数转化成一个"凸函数"然后利用凸函数的性质求极值来求解问题."凸优化"不仅仅在机器学习中有所应用,几乎在任何用到有关于目标函数求值的问题都会用到.本次课程由浅入深,将学术上复杂的问题解释的通俗易懂,个人认为是机器学习系列课程非常有亮点的一课. 引言: 本文用凸函

斯坦福CS229机器学习课程笔记六:学习理论、模型选择与正则化

稍微了解有监督机器学习的人都会知道,我们先通过训练集训练出模型,然后在测试集上测试模型效果,最后在未知的数据集上部署算法.然而,我们的目标是希望算法在未知的数据集上有很好的分类效果(即最低的泛化误差),为什么训练误差最小的模型对控制泛化误差也会有效呢?这一节关于学习理论的知识就是让大家知其然也知其所以然. 学习理论 1.empirical risk minimization(经验风险最小化) 假设有m个样本的训练集,并且每个样本都是相互独立地从概率分布D中生成的.对于假设h,定义training

Convex optimization 凸优化

zh.wikipedia.org/wiki/凸優化 以下问题都是凸优化问题,或可以通过改变变量而转化为凸优化问题:[5] 最小二乘 线性规划 线性约束的二次规划 半正定规划 Convex function Convex minimization is a subfield of optimization that studies the problem of minimizing convex functions over convex sets. The convexity makes opt

关于凸优化的一些简单概念

http://www.cnblogs.com/tornadomeet/p/3300132.html 没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs229-cvxopt.pdf,从中我们可以大致了解到一些凸优化的概念,比如凸集,凸函数,凸优化问题,线性规划,二次规划,二次约束二次规划,半正定规划等,从而对凸优化问题有个初步的认识.以下是几个重要相关概

非凸优化问题

凸优化就是函数是凸函数,定义域也是凸集,不会有局部极小值问题:非凸优化就是在寻找最小值(或最大值)时会陷入局部极小值,这就是机器学习里某些算法经常遇到的问题. 记录今天学习到的matlab函数: 1. numel(A),求A的元素个数,即number of elements: 2. rem(A,a),求余,如果是向量,则返回的也是向量,每个元素对应原来除以a后的余数: 3. assert(expression,‘提示内容’),产生错误提示,当表达式expression不满足时,提示单引号内的内容

七月算法--12月机器学习在线班-第四次课笔记—凸优化

七月算法--12月机器学习在线班-第四次课笔记—凸优化 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

凸优化中的基本概念(1)

1.1 什么是凸集? 简单来说, 凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括端点)上的点都属于这个点集,那么就说这个点集是一个凸集. 比如下图中左边的图形是凸集,而右边不是,因为我们可以找到两个点,使它们之间的线段上的点不在集合中 数学上,凸集的定义如下: 给定集合$C$,$\forall x,y\in C$,$0\leq\theta\leq 1$,如果有 $$ \theta x + (1-\theta y)\in C$$ 我们就称集合