逻辑回归

简介

Logistic Regression与Linear Regression都属于线性模型，进行回归学习时使用Linear Regression,而Logistic Regression虽然名字上叫做“回归”，但其实是用于分类的模型。

对于逻辑回归而言，最突出的优势是模型简单、可解释性强；缺点是容易欠拟合，分类精度可能不高。

引入

线性回归模型产生的预测值是一个实值 $z$ ，而分类任务需要的是离散值。以二分类任务，将两个不同的类别分别标记为0/1，我们需要模型输出0/1，所以需要将原来的实值转换为0/1值（寻找一个函数将二者联系起来）：最为理想的是“单位阶跃函数”（下图中红色函数）：
$y=\left\{ \begin{aligned} 0 && z<0\\ 0.5 && z=0\\ 1 && z>0 \end{aligned} \right.$

上图来自知乎用户@林恩，原图出自周志华《机器学习》

单位阶跃函数不连续，所以希望找到近似的单调可微的替代函数——对数几率函数，就是上图中的黑色曲线。其函数表达式如下：
$y=\frac{1}{1+e^{-z}}$
之前线性回归模型得到的实值$ z = w^Tx+b $将其带入上式可得到：
$y=\frac{1}{1+e^{-(w^Tx+b)}}$
这样就实现了一开始所说的寻找一个函数，将线性回归得到的实值转换为0/1值，从而实现分类的目的（根据z的正负可以得到y，y与0.5比较得到相应的分类），同时也可以看出逻辑回归不是单单预测出“类别”，而是可以得到近似概率预测。$P(t=1|x;w,b)=y$为输入为类别1的概率；$P(t=0|x;w,b)=1-y$为输入为类别0的概率。

公式推导

上述的概率可以综合为：
$P(t|x;w,b)=y^t(1-y)^{1-t}$
这里的$t$指类别，为0/1

可以通过极大似然法估计参数$w,b$,也就是让每个样本属于其真实标记的概率越大越好。令$\beta=(w;b);\hat{x}=(x;1)$,那么似然函数可以写作：
$L(\beta)=\prod_{i=1}^m P(t|x;\beta)=\prod_{i=1}^my_i^{t_i}(1-y_i)^{1-t_i}$
对数似然函数为：

$l(\beta)=lnL(\beta)=\sum_{i=1}^mt_ilny_i+(1-t_i)ln(1-y_i)$
这里可以用梯度上升求解$\beta$，求出的即为最佳参数，令$J(\beta)=-\frac{1}{m}l(\beta)$,使用梯度下降法求解最小值：
$\beta^{i+1} = \beta^i - \alpha \frac{\partial}{\partial\beta}J(\beta)$
其中：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \frac{\partial…
故参数的更新可以写成
$\beta^{e+1} = \beta^e - \alpha\frac{1}{m}\sum_{i=1}^{m}(y^i-t^i)\hat x_i$
其中$e$为迭代的次数，$t$为真实标签。

之前的$J(\beta )$即为逻辑回归的损失函数，其为交叉熵损失函数，有关部分可参考看得见的信息论-为什么用交叉熵作为逻辑回归的代价函数

逻辑回归实践

Step 1:导入库

import numpy as np
## 画图库
import matplotlib.pyplot as plt
import seaborn as sns## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression

Step 2:训练模型

## 构造数据集
x_features = np.array([[-1,-2],[-2,-1],[-3,-2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])## 调用LR模型
lr_model = LogisticRegression()## 用模型拟合构造的数据集
lr_model = lr_model.fit(x_features,y_label)

Step 3:模型参数查看

##查看其对应模型的w
print('the weight of Logistic Regression:',lr_model.coef_)
##查看其对应模型的w0(bias)
print('the intercept(w0) of Logistic Regression:',lr_model.intercept_)
##the weight of Logistic Regression:[[0.73462087 0.6947908]]
##the intercept(w0) of Logistic Regression:[-0.03643213]

Step 4：数据和模型可视化

## 可视化构造的数据样本点
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')
plt.show()

# 可视化决策边界
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))z_proba = lr_model.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')plt.show()

### 可视化预测新样本plt.figure()
## new point 1
x_features_new1 = np.array([[0, -1]])
plt.scatter(x_features_new1[:,0],x_features_new1[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 1',xy=(0,-1),xytext=(-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))## new point 2
x_features_new2 = np.array([[1, 2]])
plt.scatter(x_features_new2[:,0],x_features_new2[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 2',xy=(1,2),xytext=(-1.5,2.5),color='red',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))## 训练样本
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')# 可视化决策边界
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')plt.show()

Step 5：模型预测

##在训练集和测试集上分布利用训练好的模型进行预测
y_label_new1_predict=lr_model.predict(x_features_new1)
y_label_new2_predict=lr_model.predict(x_features_new2)
print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)
##由于逻辑回归模型是概率预测模型（前文介绍的p = p(y=1|x,\theta)）,所有我们可以利用predict_proba函数预测其概率
y_label_new1_predict_proba=lr_model.predict_proba(x_features_new1)
y_label_new2_predict_proba=lr_model.predict_proba(x_features_new2)
print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The New point 2 predict Probability of each class:\n',y_label_new2_predict_proba)
##TheNewpoint1predictclass:
##[0]
##TheNewpoint2predictclass:
##[1]
##TheNewpoint1predictProbabilityofeachclass:
##[[0.695677240.30432276]]
##TheNewpoint2predictProbabilityofeachclass:
##[[0.119839360.88016064]]

基于鸢尾花（iris）数据集的逻辑回归分类实践

Step 1：函数库导入

##  基础函数库
import numpy as np 
import pandas as pd## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns##从sklearn中导入逻辑回归模型
from sklearn.linear_model import LogisticRegression

Step 2：数据读取/载入

鸢尾花数据集共150个样本数据，其中每个样本包含四个特征变量和一个类别标签，类别包括山鸢尾 (Iris-setosa)，变色鸢尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)三种，四个特征分别是花萼长度(cm)、花萼宽度(cm)、花瓣长度(cm)、花瓣宽度(cm)

## 利用sklearn中自带的iris数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式

Step 3：利用逻辑回归模型在二分类上进行训练和预测

## 将数据划分为训练集和测试集
from sklearn.model_selection import train_test_split
# #二分类，只选择其类别为0和1的样本
iris_features_part=iris_features.iloc[:100]
iris_target_part=iris_target[:100]
##测试集大小为20%
x_train,x_test,y_train,y_test=train_test_split(iris_features_part,iris_target_part,test_size=0.2,random_state=2020)## 定义逻辑回归模型
clf=LogisticRegression(random_state=0,solver='lbfgs')## 在训练集上训练逻辑回归模型
clf.fit(x_train,y_train)##查看其对应的w
print('the weight of Logistic Regression:',clf.coef_)##查看其对应的w0(bias)
print('the intercept(w0) of Logistic Regression:',clf.intercept_)## 在训练集和测试集上分布利用训练好的模型进行预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)## 利用accuracy评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))##The accuracy of the Logistic Regressionis:1.0
##The accuracy of the Logistic Regressionis:1.0
##The confusion matrix result:
##[[9  0]
##[0  11]]

Step 4：利用 逻辑回归模型 在三分类(多分类)上 进行训练和预测

##测试集大小为20%
x_train,x_test,y_train,y_test=train_test_split(iris_features,iris_target,test_size=0.2,random_state=2020)##定义模型
clf=LogisticRegression(random_state=0,solver='lbfgs')##训练
clf.fit(x_train,y_train)##查看其对应的w
print('the weight of Logistic Regression:\n',clf.coef_)
##查看其对应的w0(bias)
print('the intercept(w0) of Logistic Regression:\n',clf.intercept_)
##由于这个是3分类，所有我们这里得到了三个逻辑回归模型的参数，其三个逻辑回归组合起来即可实现三分类##预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)
##由于逻辑回归模型是概率预测模型,可以利用predict_proba函数预测其概率train_predict_proba=clf.predict_proba(x_train)
test_predict_proba=clf.predict_proba(x_test)print('The test predict Probability of each class:\n',test_predict_proba)
##其中第一列代表预测为0类的概率，第二列代表预测为1类的概率，第三列代表预测为2类的概率。##利用accuracy评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))'''
The accuracy of the Logistic Regression is: 0.958333333333
The accuracy of the Logistic Regression is: 0.8
The confusion matrix result:[[10  0  0][ 0  7  3][ 0  3  7]]
'''

参考资料

• 周志华《机器学习》
• 阿里云机器学习算法