模式识别关注在数据中自动发现信息并采取行动，例如数据分类。
例子：手写识别。使用规则等方法将导致复杂的规则和例外情况。使用机器学习方法，利用训练集自动调整参数。目标模式是已知的数字0-9，成为目标向量t。模式识别的推广能力是一个中心目标！
预处理：又称为特征提取。输入数据大多数需要预处理，是模式识别更加容易！同时，预处理可以提高效率，但应该注意信息丢失，准确度下降。
分类：
有目标向量：监督学习（离散与连续：分类与回归）。
无目标向量：无监督学习：聚类，密度估计，数据可视化等
reinfocement learning：强化学习：找到合适的行为，并给出评价。信用分配问题：每个行为对最终结果（评价）的影响
细节本书不讨论。
1.1 例子：多项式曲线拟合
sin函数加上高斯分布噪声生成训练数据，在不知道模型的情况下预测新的输入的输出值。
有限训练集加上噪声使得问题本质上困难。概率模型提供了噪声不确定性的量化，决策论利用概率量化和决策规则做出预测。
多项式模型虽然是输入x的非线性函数，但是是参数w的线性函数，称为线性模型。将在第3,4章讨论。
调整w，使误差函数最小化，得到拟合函数结果。
误差函数是衡量模型输出与实际输出的偏差，常使用误差平方和。误差函数的选择有概率意义。
误差函数相对于w是二次函数，所以导数是一次的，最优化问题有唯一解（另导数=0，等价于解一个线性方程组）
选择最高项次数M称为模型选择问题，M可以代表模型复杂度，不合适的M会导致欠拟合和过拟合。
sin的展开式是无穷次的，但是M太大，test error反而激增。观察w发现高次项w非常大，原因是参数越来越向着随机噪声调和（数据集太小）！
有些启发式的方法提出数据量应该为参数量的几倍，但第三章说明参数量不是模型复杂度衡量的必要因素。
贝叶斯方法可以自动调整有效的参数个数。
使用正规化技术可以解决过拟合问题。对过大的参数进行惩罚！二次正规化项又成为“岭回归”，在神经网络的上下文又称为“权值衰减”。
正规化参数的选择也可以通过实验的方式衡量训练误差和验证误差来选择。