L0L1L2

L0：是指向量中非0的元素的个数。

如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0，即让参数W是稀疏的

L1：实现稀疏（选择重要特征，结果容易解释）,即适用于特征选择

L2：防止过拟合，可以让优化求解变得稳定和快速

L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0

http://blog.csdn.net/zouxy09/article/details/24971995

待补充知识：矩阵范数，矩阵的条件数，强凸性质