在讲完最小二乘（linear regression）和K近邻后，进入本节。
引入符号：
$X\in R^p$ X为维度为p的输入向量
$Y\in R$ Y为输出，实数
$P(X,Y)$ 为两者的联合概率分布
$f(X)$ 为预测函数，给定X，输出Y
a.使用squared error loss(L2)作为损失函数
$L(Y,f(X))={(Y-f(X))}^2$
EPE（excepted prediction error）为
$EPE(f)=E({(Y-f(X))}^2) \\ \ \ =\int \int {[y-f(x)]}^2 P(x,y) dxdy=\int [\int {[y-f(x)]}^2 P(y|x) dy]p(x)dx \\ \ \ =E_XE_{Y|X}({[Y-f(X)]}^2|X)$
最小化EPE，在每个点上f(x)需要满足：
$f(x)={argmin}_c E_{Y|X}({[Y-c]}^2|X=x)\\ \ \ ={argmin}_c \int [y^2-2yc+c^2]P(y|X=x)dy={argmin}_c E_{Y|X}(Y^2)-2cE_{Y|X}(Y)+c^2$
对上式的c求导，置为0：
$c=E(Y|X=x)$
所以，当squared error loss时，给定X，最好的预测为条件均值
K近邻实际给出的是(1)对条件均值的点估计(2)X=x被模拟为在某近似区域
linear regression则假设这些条件均值能用线性函数近似
b.使用L1作为损失函数
$L(Y,f(X))={|Y-f(X)|}$
$f(x)={argmin}_c E_{Y|X}({|Y-c|}|X=x)\\ \ \ ={argmin}_c \int_{-\infty}^c(y-c)P(y|X=x)dy+\int_c^{\infty}(c-y)P(y|X=x)dy\\ \ \ ={argmin}_c \int_{-\infty}^c yP(y|X=x)dy-c\int_{-\infty}^c P(y|X=x)dy+c\int_c^{\infty}P(y|X=x)dy-\int_c^{\infty}yP(y|X=x)dy$
对c求导，置为0：
第一部分：$cP(y=c|X=x)$
第二部分：$-\int_{-\infty}^c P(y|X=x)dy-cP(y=c|X=x)$
第三部分：$\int_{c}^{\infty}P(y|X=x)dy-cP(y=c|X=x)$
第四部分：$cP(y=c|X=x)$
有$\int_{c}^{\infty}P(y|X=x)dy=\int_{-\infty}^c P(y|X=x)dy$
所以，当为L1作为损失函数时，给定X，最好的预测为条件中値