Independent Components Analysis:独立成分分析

1. 引言

与 PCA 类似，Independent Components Analysis（ICA）同样是要找到一组新基去表示数据。但是目标大不相同。

为了阐述动机，举一个例子，考虑“鸡尾酒会问题”。

在酒会上，有 n 个演讲者同时讲话，房间里面的每一个麦克风都会记录所有演讲者声音混合起来的音频，但是由于每一个麦克风距离每一个演讲者的距离都不一样，所以没一个麦克风记录的混合音频是不一样的，那么用这些麦克风录下来的混合音频数据，我们能否将每一个演讲者的声音都区分出来呢？

为了方便讨论，假设某个数据是由 n 个独立的数据源而产生的。我们观察到的是：

x = As

这里矩阵 A 是方阵，被称作混合矩阵。重复观察或者记录 m 次，就可以得到一个数据集{x⁽ⁱ⁾; i = 1, 2, ... , m}，我们的目标是利用已经产生的数据( x⁽ⁱ⁾ = As⁽ⁱ⁾ )去恢复出数据源 s⁽ⁱ⁾.

在“鸡尾酒会问题”中，s⁽ⁱ⁾是一个 n 维的向量 ,

是第 j 个演讲者在时间点 i 所发出的声音；同样， x⁽ⁱ⁾也是一个 n 维向量，

是第 j 个麦克风在时间点 i 所记录的音频数据。

令 W = A^-1 为解混合矩阵. 我们的目标就是找到 W, 这样给出麦克风的录音数据 x⁽ⁱ⁾，就可以通过 s⁽ⁱ⁾= Wx⁽ⁱ⁾来恢复出数据源. 为了表示方便，令表示 W 的第 i 行，所以有：

因此，，第 j 个数据源可以通过计算恢复出来.

2. ICA 的不确定性（ICA ambiguities）

如果没有数据源和混合矩阵的先验知识，不难看出，在只给出观察数据 x 的情况下，A 中存在的一些不确定性会使得数据源不可能得到恢复.

特别是，令 P 是任意一个 n×n 的置换矩阵（permutation matrix）. 这就意味着矩阵 P 的每一行和每一列有且只有一个元素为1，其它元素均为0. 下面是一些置换矩阵的例子：

　　如果 z 是一个向量，那么 Pz 就会返回一个 z 中坐标经过置换后的版本的向量，具体如何置换取决于 1 所在 P 中位置.

　　所以在只有 x 的情况下，没法区分 W 和 PW. 所以解混合矩阵无法确定，数据源也就无法确定. 幸运的是，这种问题，即如何对应的问题在大多数应用中都无关紧要.

而且，没法得到正确的混合矩阵 A，例如如果用 2A 代替 A, 然后用 0.5s⁽ⁱ⁾代替 s⁽ⁱ⁾ ,然后观测数据 x(i) = 2A· 0.5s⁽ⁱ⁾ 是一样的. 也就是说我们恢复出的数据源前面的系数无法确定，可能会是真正数据源的任意倍数. 但是对于“鸡尾酒会问题”这个不确定性也不重要，因为前面的系数仅仅代表着演讲者的声音大小，不影响数据的恢复.

已经证明，只要数据源不是高斯分布的数据，ICA 的不确定性也仅仅就来源于上面讨论的两方面.

那么对于高斯数据，考虑有两个数据源，即 n = 2, s~N(0, I ). 其中 I 是一个2×2的单位矩阵.现在，假设观察到某个数据 x = As, A是混合矩阵，显然 x 也服从高斯分布, 且均值为0, 协方差E(xx^T) = E(Ass^TA^T) = AA^T. 令 R 为任意的正交矩阵，即 RR^T = R^TR = I, 令 A‘ = AR. 如果用 A‘ 作为混合矩阵代替 A, 那么观测数据就是 x‘ = A‘s, 类似 x‘ 同样服从高斯分布，均值为0，协方差为E[x‘(x‘)^T] = E[A‘ss^T(A‘)^T] = E[ARss^T(AR)^T] = ARR^TA^T= AA^T. 因此，不论混合矩阵式 A 还是 A‘,观测数据都服从高斯分布 N(0, AA^T), 于是难以分辨数据源的混合到底是用了 A 还是 A‘ . 可以看出，存在一个任意的转置成分（例子中的R）不是数据决定的，所以无法恢复出数据源.