一、概述

前面所学的线性回归模型适用于输出为连续值的情景。而在某些场景中，模型输出也可以是像图像类别这样的离散值（比如1、2、3分别表示3个类别）。此时就需要用到Softmax回归。

与线性回归不同的是，softmax回归的输出单元不止一个，有多个（如下图），并且还引入了sofmax运算，使得输出更适合离散值的预测和训练。

二、基于一个简单例子的Softmax回归模型

先引入一个简单的例子，为后续学习softmax模型做铺垫。

现在有一个图像分类问题，图像的输入高、宽均为2个像素，且色彩为灰度，这种图像的shape表示为：（2, 2, 1），即（高度，宽度，通道数）。假设训练数据集的真实标签有狗、猫、鸡3种，分别对应$y_1,y_2,y_3$ 3个离散值。

$\mathcal {ps：}$虽然也可以用回归模型进行建模，并将预测值就近点化到3个离散值之一（类似于四舍五入？），但是这种从连续值到离散值的转换通常会影响到分类质量。所以应该采用更适合离散值输出的模型来解决分类问题。

1. 模型

与线性回归一样，$softmax$回归输出也是讲特征与权重线性叠加。不过有一个不同点，前面也说到了，就是$softmax$回归输出有多个，且个数等于标签中的类别数。比如这个例子就是有3个输出。

其线性关系如下：
$o_1=x_1w_{11}+x_2w_{21}+x_3w_{31}+x_4w_{41}+b_1 \\ o_2=x_1w_{12}+x_2w_{22}+x_3w_{32}+x_4w_{42}+b_2 \\ o_3=x_1w_{13}+x_2w_{23}+x_3w_{33}+x_4w_{43}+b_3$

可以看出，此时权重一共有特征数*类别数=12个标量，偏差有类别数=3个标量。

2. Softmax运算

既然分类问题要得到离散的预测输出，一个简单的做法就是将输出值$o_i$作为置信度，显然是越大越好。并且，将$max{\{o_i\}}$对应的类别作为输出，即输出$argmax_i \ o_i$。

但是，直接使用输出层的预测值有两点问题：

1. 由于输出层的预测值范围无法确定，很难以直观上判断这些值的具体含义。比如$o_2=10$，那这个10到底是什么意思呢？
2. 另一方面，也是上面说到的，直接套用线性回归的模型会有误差，并且这个误差难以衡量。

softmax运算符可以解决这个问题。它通过下式将输出值变为正数且和为1的概率分布：
$\hat{y_1},\hat{y_2},\hat{y_3}=softmax(o_1,o_2,o_3),$

其中
$\hat{y_k}=\frac {e^{o_k}}{\sum_{i=1}^3e^{o_k}}$

经过这样变换之后的输出$\hat y$有以下一些特点：

• $\hat{y_1}+\hat{y_2}+\hat{y_3}=1$且$\hat{y_i}\in[0,1]$
• 由于输出都在$[0,1]$，所以这个时候我们就可以赋予其一个实际含义：属于这个类别的概率
• 因此$\hat{y_1},\hat{y_2},\hat{y_3}$构成了一个概率分布
• 由于softmax运算是单调增的，所以$argmax\ o_i=argmax\ \hat{y_i}$，即$softmax运算不会改变预测类别输出

softmax回归的矢量计算表达式为：
$\boldsymbol O=\boldsymbol X \boldsymbol W + \boldsymbol b \\ \boldsymbol {\hat Y}=softmax(\boldsymbol O)$

3. 交叉熵损失函数

前面说到，将模型输出预测结果进行softmax运算之后，就变成了一个类别预测分布。实际上，一个真实标签也可以用一个类别分布表达。假设3分类问题的一个预测值的分布如下：
$\bold {\hat y}^{(i)}=[0.26, 0.94, 0.12]'$

这个表示了：属于类别1的概率为0.26、属于类别2的概率为0.94、类别3的概率为0.12。
实际上，真实的标签就是属于一个确定的标签，假设它属于类别2，则其概率分布可以表示为：
$\bold {y^{(i)}}=[0, 1, 0]'$

这样，我们就可以把训练的目标设置为：使预测概率分布尽可能接近真实标签的概率分布。

损失函数的选取

如何去定义这样一种训练目标的？先考虑用线性回归的平方损失函数。其表达式为：
$||\bold {\hat y}^{(i)}-\bold {y^{(i)}} ||^2/2$

这个式子表明：只要预测的概率分布和真实分布不一样，损失值就会较大，并且模型会继续训练。但实际上我们的要求是，在一个测试数据的所有输出标签中，找出一个概率最大的就可以了，并不需要其分布和真实分布完全一样。显然，平方损失函数在$Softmax$回归中显得过于严格。

softmax回归应该选择一个更适合衡量两个概率分布差异的测量函数。交叉熵是一个常用的衡量方法：
$H(\bold {y^{(i)}}, \bold {\hat y}^{(i)})=-\sum_{j=1}^py_j^{(i)}log\ \hat y_j^{(i)}$

其中，$p$表示分类个数。（理解这个公式的前提应该是先了解信息量、信息熵的概念。这个问题我单独写一篇博客讨论吧。。这里暂时先放着。）
特别的，当样本只有一个标签的时候，由于$\hat y^{(i)}$中只有一个1，其余的全部是0，所以上述公式可化简为：
$H(\bold {y^{(i)}}, \bold {\hat y}^{(i)})=-log\ \hat y_k^{(i)}$

其中，$k$表示该样本所属类别。

---

当训练集样本数为$n$时，交叉熵损失函数定义为：
$ℓ(\Theta)=\frac 1n\sum_{i=1}^nH(\bold {y^{(i)}}, \bold {\hat y}^{(i)})$

其中$\Theta$表示模型参数。
这个公式实际上就是所有样本的交叉熵的平均值。

4. 模型预测及评价

在训练好softmax回归模型后，给定任意样本特征，我们可以给出预测的概率分布，并取最大概率对应的类别作为输出类别。但是这个输出结果不一定正确。所以我们根据其准确率（$accuracy$）对模型进行一定的评价。准确率 = 正确预测数量 / 总预测数量。

而线性回归则没有这一步，因为它只是预测一个连续值，不存在正确与否。