2013 AAAI: Uncorrelated Lasso

Si-Bao Chen, Chris Ding, Bin Luo and Ying Xie. Uncorrelated Lasso. AAAI, 2013.

第一作者是安徽大学陈思宝副教授。

第二作者 Chris Ding 是德克萨斯大学阿灵顿分校的教授，Google Scholar 上他引超过 15700 次。

这篇文章考虑 Lasso 做特征选择时特征之间的相关性，使选出来的特征尽量不相关以减少冗余。

优化形式是在原 Lasso 后加入一相关系数矩阵（平方）的凸项，如下图：

其中矩阵 C 是相关系数平方的矩阵，是对称半正定的。

当 λ₂=0 时，退化为一般的 Lasso；

当 C 为单位阵时，退化为 elastic-net。

这个优化形式三部分都是凸的，所以这是个凸问题，有唯一的全局最优解。

文章给出了迭代算法：

算法的收敛性：证明了目标函数是非增的（non-increasing），即 L(α^(t+1)) ≤ L(α^(t)) 。

先证明了两个引理。

第一个引理定义了一个辅助函数

并证明 G(β^(t+1)) ≤ G(β^(t))。

第二个引理证明 L(β^(t+1)) - L(β^(t))  ≤ G(β^(t+1)) - G(β^(t)).

结合两个引理得出：L(β^(t+1)) - L(β^(t)) ≤ 0.

最后在两个基因数据（Colon Cancer Data 和 Leukemia Dataset）上实验。