机器学习方法：从线性模型到神经网络

发现模式

线性模型和神经网络原理和目标基本上是一致的，区别体现在于求导环节。如果对线性模型熟悉，神经网络就会很好理解，模型实际上都是一个从输入到输出的函数，我们希望用这些模型发现数据中的模式，发现数据中存在的函数依赖，当然前提是数据中本身就存在这样的函数依赖。数据集有很多种类型，可能是有结构的，比如关系数据库中的表，也可能是无结构的，比如文本。我们现在考虑的是一种典型的数据集，这种数据集是一张关系表，每一条记录都代表了一个实体，比如说一朵花，关系表共有n个字段，前n-1个字段是实体的各种特征，比如花瓣的长度和宽度；最后一个字段是实体的标签，标签是一些离散的值，比如如果一条记录代表一朵梅花，那么它的标签0，如果是一朵兰花，那么它的标签就是1，当然也可以是其他的值。我们用 x 来表示每条记录的前n-1个字段，用 y 来表示每条记录的标签。

现在我们的目标就是希望发现一种模式，也就是从特征到标签的函数依赖关系f，使得对尽可能多的记录有 f(x) ≈ y。

\begin{equation} \int_0^\infty \frac{x^3}{e^x-1}\,dx = \frac{\pi^4}{15} \label{eq:sample} \end{equation}

Logistic回归模型

线性回归模型

神经网络