矩阵卷积，离散有限维线性时不变系统

与上一节课连续无限维线性时不变系统有相同的描述：当且仅当线性算符是用卷积表达的，该系统才是线性时不变系统（LTI system）。

$\underline{w} = Av = \underline{h}* \underline{v}$

上述等式表达了离散有限维的线性时不变系统，它能表达成脉冲响应与输入的矩阵乘积，也能表达成矩阵间的卷积。

下面我们通过一个例子加深对线性时不变系统的理解。

例，假设有LTI系统

$\underline{w} = Av = \underline{h}* \underline{v} \qquad ,\underline{h}=\begin{pmatrix}1\\ 2\\ 3\\ 4\\\end{pmatrix}$

求该LTI系统矩阵$A$。

根据上节课学习到的知识，我们知道矩阵$A$是该LTI系统的脉冲响应，即

$\begin{align*}
A
&=A[\underline{\delta}_0,\underline{\delta}_1,\underline{\delta}_2,\underline{\delta}_3] \\
&=[A\underline{\delta}_0,A\underline{\delta}_1,A\underline{\delta}_2,A\underline{\delta}_3]\\
&=[\underline{h}*\underline{\delta}_0,\underline{h}*\underline{\delta}_1,\underline{h}*\underline{\delta}_2,\underline{h}*\underline{\delta}_3]\\
&=\left[
\begin{bmatrix}
1\\
2\\
3\\
4
\end{bmatrix}
\begin{bmatrix}
4\\
1\\
2\\
3
\end{bmatrix}
\begin{bmatrix}
3\\
4\\
1\\
2
\end{bmatrix}
\begin{bmatrix}
4\\
1\\
2\\
3
\end{bmatrix}
\right ] \qquad \delta\ shift\ property\\
&=\begin{bmatrix}
1 &4  &3  &2 \\
2 &1  &4  &3 \\
3 &2  &1  &4 \\
4 &3  &2  &1
\end{bmatrix}
\end{align*}$

这类矩阵被称为循环矩阵（circulant matrix），具有周期性。这里的周期性是指矩阵的每一列都是由前一列移位得到的。

线性时不变系统的特征值，特征函数/特征向量

连续无限维空间

在连续无限维空间内，LTI系统有如下表示

$w(t) = Lv(t) = (h*v)(t)$

它的傅里叶变换为

$\mathcal{F}w = \mathcal{F}h\mathcal{F}v$

转换成下面的符号表示

$W(s) = H(s)V(s)$

其中$H(s)$被称为传递函数

LTI系统的特征函数是复指数函数

在讨论矩阵乘法的时候，我们引入了特征向量与特征值，而现在讨论的是连续无限维空间，这里引入类似的概念：特征函数。

特征函数的定义是：在LTI系统中，如果有$Lv(t) = \lambda v(t)$，则$v(x)$是该LTI系统的特征函数，$\lambda$是相应的特征值。

那么为什么LTI系统的特征函数是复指数函数呢？

结论由以下推导得到:

为一个LTI系统输入复指数函数$e^{2\pi i\nu t}$，它在频域的表现为

$\begin{align*}
W(s)
&=H(s)V(s)\\
&=H(s)\mathcal{F}(e^{2\pi i\nu t})\\
&=H(s)\delta(s-\nu)\\
&=H(\nu)\delta(s-\nu) \qquad(\delta\ shift\ property)
\end{align*}$

它在时域的表现为，

$w(t) = Le^{2\pi i\nu t} = H(\nu)e^{2\pi i\nu t} \qquad H(\nu)\ is\ constant$

由上述等式我们知道，在LTI系统中

• 复指数$e^{2\pi i\nu t}$是其特征函数
• $H(\nu) = (\mathcal{F}h)(\nu)$是相应的特征值

那么LTI是否有其它特征函数呢？

我们这里以$v(t) = cos(2\pi \nu t)$作为输入看看它是否为特征函数。

$\begin{align*}
Lv(t)
&=Lcos(2\pi i\nu t)\\
&=L\frac{1}{2}\left(e^{2\pi i\nu t}+e^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(Le^{2\pi i\nu t}+Le^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+H(-\nu)e^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+\overline{H(\nu)}e^{-2\pi i\nu t}\right)\qquad h(t)\ is\ real-valued\ ,it‘s\ symmetric\ in\ frequency,H(-\nu)=\overline{H(\nu)}\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+\overline{H(\nu)e^{2\pi i\nu t}}\right)\\
&=\frac{1}{2}\times 2Re\left(H(\nu)e^{2\pi i\nu t}\right)\qquad (a+bi)+(a-bi)=2a,Re\ means\ real\ part\\
&=Re\left(|H(\nu)|e^{i\phi(\nu)}e^{2\pi i\nu t}\right) \qquad H(\nu)=|H(\nu)|e^{i\phi(\nu)}\\
&=|H(\nu)|Re\left(e^{i(2\pi \nu t+\phi(\nu))}\right)\\
&=|H(\nu)|Re\left(cos(2\pi\nu t+\phi(\nu))+isin(2\pi\nu t+\phi(\nu))\right) \qquad Eular\ Fomular\\
&=|H(\nu)|Re\left(cos(2\pi\nu t+\phi(\nu))\right)
\end{align*}$

结果是，在LTI中，$cos(2\pi\nu t)$并不能被转换成$\lambda cos(2\pi\nu t)$的形式，因此不是特征函数。

实际上，只有复指数函数才是LTI的特征函数。

离散有限维空间

在离散有限维空间中，LTI系统有如下表示

$\underline{w} = L\underline{v} = \underline{h}* \underline{v}$

它的离散傅里叶变换为

$\underline{\mathcal{F}w} = (\underline{\mathcal{F}h})(\underline{\mathcal{F}v})$

转换成下面的符号表示

$\underline{W} = \underline{H}\underline{V}$

LTI的特征向量为复指数向量

该结论由以下推导得到

为离散LTI系统输入复指数向量$\underline{\omega}^{k}$，即

$\underline{v} = \underline{\omega}^{k} = \left(1,e^{2\pi i\frac{k}{N}},e^{2\pi i\frac{2k}{N}},…,e^{2\pi i\frac{(N-1)k}{N}}\right)$

他们在频域的表现为

$\begin{align*}
\underline{\mathcal{F}}\underline{w}[m]
&=\underline{\mathcal{F}h}[m]\underline{\mathcal{F}\omega}^k[m]\\
&=\underline{\mathcal{F}h}[m]N\underline{\delta}[m-k]\\
&=\underline{\mathcal{F}h}[k]N\underline{\delta}[m-k]\\
&=\underline{H}[k]N\underline{\delta}[m-k]
\end{align*}$

他们在时域上的表现为（对上面的结果进行IDFT）

$\underline{w}[m] = \underline{H}[k]\underline{\omega}^{k}[m]$

即

$\underline{w} = L\underline{\omega}^k = \underline{H}[k]\underline{\omega}^{k}$

由上述结果我们知道，在LTI系统中

• 特征向量为$\underline{\omega}^k$，即$\underline{\omega}$为LTI的特征向量基，$k$可以为任何整数
• 相应的特征值为$\underline{H}[k]$

下面是一个求离散有限维LTI系统特征值的例子

设有LTI系统如下

$\underline{w} = L\underline{v} = \underline{h}* \underline{v}\qquad \qquad \underline{h} = \left(1, 2, 3, 4\right)$

特征值为$\underline{H}[k] = \underline{\mathcal{F}h}[k]$

首先我们需要求出$\underline{H}$

$\underline{H} = \underline{\mathcal{F}h} = \displaystyle{\sum_{k=0}^{3}\underline{h}[k]\underline{\omega}^{-k}} = (10,-2+2i,-2,-2-2i)$

算得上述结果后，我们就能根据特征向量$\underline{\omega}^k$中的$k$值来选择相应的$\underline{H}[k]$（$\underline{H}$是周期循环的）。