算法总结：
1、对比于感知机模型，logistics不但能进行分类，还是计算出样本点属于每个类别的概率；
2、普通的logistic回归只能针对二分类问题。要要实现多分类，需要对对原始logistic回归进行修改。（一般而言是引入softmax函数）；
3、logistics和最大熵模型都是对数线性模型（一般而言，logistics被认为是广义线性模型）。

补充知识：
1、sigmoid函数的优点；
2、OvR 与 OvO。

1 提出模型

感知机模型和传统的logistics模型都是线性二分类模型，都是期望找到一个线性决策边界从而将两种不同类别的数据区分开。这两个算法具有一定的相似性。
在感知机模型中，我们可通过梯度下降方法来学习模型参数，最终找到一个线性超平面将两种线性可分数据区分开。

但是在感知机我们只能得到最终的划分结果，并不知道样本点属于各个类别的概率。 若样本点A和样本点B同时被模型$f$判断为正样本。但是实际上样本点A为正样本的概率为0.91，样本点B为正样本的概率为0.56。那么相比于样本点B，样本A属于正样本类别的信息更多一些，我们也希望获得这方面的信息。因此提出了logistics模型。
为了计算样本点属于各个类别的概率，我们引入了sigmoid函数。将感知机分类超平面的输入映射到[0,1]区间。
sigmoid是一个S型函数，它的表达式为$\sigma(x)=\frac{1}{1+e^{-x}}$，函数图像分别如下

补充知识：sigmoid函数的优点
1、定义域为$(-\infty,+\infty)$，值域为$(0,1)$。
（能满足超平面各式各样的输入，将其和概率区间对应起来）
2、在定义域内为连续和光滑函数。
（满足梯度下降法的使用前提，这点最为重要）
我们定义logistics模型的概率表达式
$\begin{array}{l} P(Y=1 | x)=\frac{\exp (w \cdot x+b)}{1+\exp (w \cdot x+b)} \\ P(Y=0 | x)=\frac{1}{1+\exp (w \cdot x+b)} \end{array}$
为了符号简单的，对权值向量和输入向量进行扩充。即将原先的$x_{i}=(x_{i}^{(1)},x_{i}^{(2)},x_{i}^{(3)},...,x_{i}^{(n)})$,$w_{i}=(w_{i}^{(1)},w_{i}^{(2)},w_{i}^{(3)},...,w_{i}^{(n)})$,$b=b$，改记为
$x_{i}=(x_{i}^{(1)},x_{i}^{(2)},x_{i}^{(3)},...,x_{i}^{(n)}，1)$,$w_{i}=(w_{i}^{(1)},w_{i}^{(2)},w_{i}^{(3)},...,w_{i}^{(n)}，b)$
那么logistics模型的概率表达式可改写为
$\begin{array}{l} P(Y=1 | x)=\frac{\exp (w \cdot x)}{1+\exp (w \cdot x)} \\ P(Y=0 | x)=\frac{1}{1+\exp (w \cdot x)} \end{array}$

2 学习策略

在上一小节中，我们得到logistics模型的概率表达式为
$\begin{array}{l} P(Y=1 | x)=\frac{\exp (w \cdot x)}{1+\exp (w \cdot x)} \\ P(Y=0 | x)=\frac{1}{1+\exp (w \cdot x)} \end{array}$
设
$P(Y=1 | x)=\pi(x), \quad P(Y=0 | x)=1-\pi(x)$
其中$\pi(x)=\frac{\exp (w \cdot x)}{1+\exp (w \cdot x)}$
那么一个样本点的似然函数为
$\left[\pi\left(x_{i}\right)\right]^{y_{i}}\left[1-\pi\left(x_{i}\right)\right]^{1-y_{i}}$
进一步得，模型的似然函数为
$\prod_{i=1}^{N}\left[\pi\left(x_{i}\right)\right]^{y_{i}}\left[1-\pi\left(x_{i}\right)\right]^{1-y_{i}}$
为了避免由于概率值太小导致在计算过程中出现浮点数下溢的问题，进行对数化处理。则对数似然函数为
$\begin{aligned} L(w) &=\sum_{i=1}^{N}\left[y_{i} \log \pi\left(x_{i}\right)+\left(1-y_{i}\right) \log \left(1-\pi\left(x_{i}\right)\right)\right] \\ &=\sum_{i=1}^{N}\left[y_{i} \log \frac{\pi\left(x_{i}\right)}{1-\pi\left(x_{i}\right)}+\log \left(1-\pi\left(x_{i}\right)\right)\right] \\ &=\sum_{i=1}^{N}\left[y_{i}\left(w \cdot x_{i}\right)-\log \left(1+\exp \left(w \cdot x_{i}\right)\right]\right. \end{aligned}$
对$L(w)$求极大值，得到对应的$w$参数的估计值。

3 广义线性模型

判断一个模型是否是线性模型就看它的决策边界（decision boundary）是否是线性的。（决策边界就是几个类别的边界）
根据logistics的定义，以二分类为例，模型的决策边界就是样本点属于两个类别概率相等时的边界，即
$P(Y=1 | \mathbf{x}, \boldsymbol{\theta})=P(Y=0 | \mathbf{x}, \boldsymbol{\theta})$
展开式子得
$\begin{aligned} \frac{1}{1+e^{-\boldsymbol{\theta}^{T} \cdot \mathbf{x}}} &=\frac{e^{-\boldsymbol{\theta}^{T} \cdot \mathbf{x}}}{1+e^{-\boldsymbol{\theta}^{T} \cdot \mathbf{x}}} \\ 1 &=e^{-\boldsymbol{\theta}^{T} \cdot \mathbf{x}} \\ \boldsymbol{\theta}^{T} \cdot \mathbf{x} &=0 \end{aligned}$
可以看出，logistics模型的决策边界是$\boldsymbol{\theta}^{T} \cdot \mathbf{x}=0$，故logistics模型是线性模型。
因为logistics模型中还包含了sigmoid非线性函数，所以我们一般称logistics模型为广义线性模型。
sigmoid函数表达式如下
$\sigma(x)=\frac{1}{1+e^{-x}}$

4 logistics多分类模型

参考博客：https://www.zhihu.com/collection/549030983

4.1 改进思路

我们已经知道，普通的logistic回归只能针对二分类(Binary Classification)问题，要想实现多分类，需要对传统的logistics模型进行改进。关于这种改进，有两种方式可以做到。

方法一 是直接根据每个类别，都建立一个二分类器，带有这个类别的样本标记为1，带有其他类别的样本标记为0。假如我们有k个类别，最后我们就得到了k个针对不同标记的普通的logistic二分类器。（本质上就是ovr的做法）

方法二 是修改logistic回归的损失函数，让其适应多分类问题。这个损失函数不再笼统地只考虑二分类非1就0的损失，而是具体考虑每个样本标记的损失。这种方法叫做softmax回归，即logistic回归的多分类版本。

补充知识：OvR 与 OvO
OvR（One vs Rest）：一对剩余的意思，有时候也称它为 OvA（One vs All）；一般使用 OvR，更标准；
OvO（One vs One）：一对一的意思；

4.2 学习策略

因为方法一本质上就是样本点的label的处理，在原理上没有新东西要讲。在下面内容中将对方法二进行详细介绍。

在传统的logistics二分类模型中，我们只需要准备一个分类模型$h(x)$,通过计算样本点属于正类别的概率$p$。若$p>=0.5$,则该样本点属于正类别，反之属于负类别。
但是在多分类（假设数据集类别总数为$k(k>2)$）问题中，我们需要训练$k(k>2)$个分类器$h_{1}(x),h_{2}(x),h_{3}(x),...,h_{k}(x)$。其中在对于 $h_{k}(x)$ 的训练中，将类别为$k$的样本标记为1，将剩下的不带标记$k$的样本标记为0。针对每个分类器，都按上述步骤构造训练集进行训练。

然后在测试集中将训练好的分类器计算出测试样本点属于各个类别的概率，分类函数输出值最大的那一个，即为测试样本的标记。
$predict=argmax_{c} h_{c}(x) ,c=1,2,...,k$

4.3 softmax函数

在softmax回归设置中，我们对多类分类感兴趣（而不是仅对二元分类），所以$y$可以取$k$个不同的取值。因此，在我们的训练集$\left\{\left(x^{(1)}, y^{(1)}\right), \ldots,\left(x^{(m)}, y^{(m)}\right)\right\}$，$y^{(i)} \in\{1,2, \ldots, k\}$。具体地说，我们的假设$h_\theta(x)$采用以下形式：
$h_{\theta}\left(x^{(i)}\right)=\left[\begin{array}{c} p\left(y^{(i)}=1 | x^{(i)} ; \theta\right) \\ p\left(y^{(i)}=2 | x^{(i)} ; \theta\right) \\ \vdots \\ p\left(y^{(i)}=k | x^{(i)} ; \theta\right) \end{array}\right]=\frac{1}{\sum_{j=1}^{k} e^{\theta_{j}^{T} x^{(i)}}}\left[\begin{array}{c} e^{\theta_{1}^{T} x^{(i)}} \\ e^{\theta_{2}^{T} x^{(i)}} \\ \vdots \\ e^{\left({\theta}_{k}^{T} x^{(i)}\right.} \end{array}\right]$

其中，$\theta_{1}, \theta_{2}, \ldots, \theta_{k} \in R^{n+1}$是模型的参数，$\frac{1}{\sum_{j=1}^{k} e^{\theta_{j}^{T} x^{(i)}}}$ 是归一化项。
为方便起见，我们还会向量法来表示模型的所有参数。当你实现$softmax$回归时，将$θ$表示为通过堆叠$\theta_{1}, \theta_{2}, \ldots, \theta_{k}$ 成行获得的k-by（n + 1）矩阵通常很方便，这样
$\theta=\left[\begin{array}{c} -\theta_{1}^{T}- \\ -\theta_{2}^{T}- \\ \vdots \\ -\theta_{k}^{T}- \end{array}\right]$
损失函数
$J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)}=j\right\} \log \frac{e^{\theta_{j}^{T} x^{(i)}}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x^{(i)}}}\right]$
求导后，可得
$\nabla_{\theta_{j}} J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}\left[x^{(i)}\left(1\left\{y^{(i)}=j\right\}-p\left(y^{(i)}=j | x^{(i)} ; \theta\right)\right)\right]$

根据梯度下降法，更新参数

$\theta_{j}:=\theta_{j}-\alpha \nabla_{\theta_{j}} J(\theta)$

5 代码附录

在这里采用mnist数据集进行logistics多分类实验，采用TensorFlow2.0进行加载数据（懒得写函数加载模块了hhh）。在代码环节中，对测试集中的所有实例点都进行了测试，所需时间较长。如果想要测试部分样本点，稍微修改下代码即可。

明天起床再补