深入理解softmax函数

　　Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签  可以取两个以上的值。Softmax模型可以用来给不同的对象分配概率。即使在之后，我们训练更加精细的模型时，最后一步也需要用softmax来分配概率。本质上其实是一种多种类型的线性分割，当类标签  取 2 时，就相当于是logistic回归模型。

　　在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标  可以取  个不同的值（而不是 2 个）。因此，对于训练集 ，我们有 。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有  个不同的类别。

　　对于给定的测试输入 ，我们想用假设函数针对每一个类别j估算出概率值 。也就是说，我们想估计  的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个  维的向量（向量元素的和为1）来表示这  个估计的概率值。 具体地说，我们的假设函数  形式如下：