一、问题描述

利用逻辑回归算法实现心脏病预测。

二、数据集分析

数据集地址：https://www.kaggle.com/ronitf/heart-disease-uci

数据集中一共有303个样本，共有14个特征，特征描述如下：

age 年龄
sex 性别 1=male,0=female
cp  胸痛类型(4种) 值1:典型心绞痛，值2:非典型心绞痛，值3:非心绞痛，值4:无症状
trestbps 静息血压 
chol 血清胆固醇
fbs 空腹血糖 >120mg/dl ,1=true; 0=false
restecg 静息心电图(值0,1,2)
thalach 达到的最大心率
exang 运动诱发的心绞痛(1=yes;0=no)
oldpeak 相对于休息的运动引起的ST值(ST值与心电图上的位置有关)
slope 运动高峰ST段的坡度 Value 1: upsloping向上倾斜, Value 2: flat持平, Value 3: downsloping向下倾斜
ca  The number of major vessels(血管) (0-3)
thal A blood disorder called thalassemia (3 = normal; 6 = fixed defect; 7 = reversable defect) 一种叫做地中海贫血的血液疾病(3 =正常;6 =固定缺陷;7 =可逆转缺陷)
target 生病没有(0=no,1=yes)

三、代码实现

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import f1_score
from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import roc_curve
from sklearn.metrics import roc_auc_score  # 解决matplotlib中文问题
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题# 导入数据
df = pd.read_csv('heart.csv')
df.info()
df.describe()df.target.value_counts()
plt.figure()
sns.countplot(x='target',data=df,palette="muted")
plt.xlabel("得病/未得病比例")
plt.Text(0.5,0,'得病/未得病比例')df.sex.value_counts()
plt.figure()
sns.countplot(x='sex',data=df,palette="Set3")
plt.xlabel("Sex (0 = 女, 1= 男)")
plt.Text(0.5,0,'Sex (0 = 女, 1= 男)')# 数据处理，对特征中非连续型数值进行处理
first = pd.get_dummies(df['cp'], prefix = "cp")
second = pd.get_dummies(df['slope'], prefix = "slope")
thrid = pd.get_dummies(df['thal'], prefix = "thal")
df = pd.concat([df,first,second,thrid], axis = 1)
df = df.drop(columns = ['cp', 'slope', 'thal'])
print(df.head(3))# 将特征与目标分开
X = df.drop(['target'], axis = 1)
y = df.target.values# 分割数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=6)  #随机种子6# 标准化处理
standardScaler = StandardScaler()
standardScaler.fit(X_train)
X_train = standardScaler.transform(X_train)
X_test = standardScaler.transform(X_test)# 逻辑回归模型
log_reg = LogisticRegression(solver='liblinear')
log_reg.fit(X_train,y_train)
print(log_reg.score(X_test,y_test))y_predict = log_reg.predict(X_test)
# 调用accuracy_score计算分类准确度
print(accuracy_score(y_test,y_predict))# 使用网格搜索找出更好的模型参数
param_grid = [{'C':[0.01,0.1,1,10,100],'penalty':['l2','l1'],'class_weight':['balanced',None]}
]grid_search = GridSearchCV(log_reg,param_grid,cv=10,n_jobs=-1)
grid_search.fit(X_train,y_train)
print(grid_search.best_estimator_)
print(grid_search.best_score_)
print(grid_search.best_params_)
log_reg = grid_search.best_estimator_
log_reg.score(X_test,y_test)# 查看F1指标
print(f1_score(y_test,y_predict_log))
print(classification_report(y_test,y_predict))# 绘制混淆矩阵
cnf_matrix = confusion_matrix(y_test,y_predict)def plot_cnf_matirx(cnf_matrix,description):class_names = [0,1]fig,ax = plt.subplots()tick_marks = np.arange(len(class_names))plt.xticks(tick_marks,class_names)plt.yticks(tick_marks,class_names)#create a heat mapsns.heatmap(pd.DataFrame(cnf_matrix), annot = True, cmap = 'OrRd',fmt = 'g')ax.xaxis.set_label_position('top')plt.tight_layout()plt.title(description, y = 1.1,fontsize=16)plt.ylabel('实际值0/1',fontsize=12)plt.xlabel('预测值0/1',fontsize=12)plt.show()plot_cnf_matirx(cnf_matrix,'Confusion matrix -- Logistic Regression')decision_scores = log_reg.decision_function(X_test)
precisions,recalls,thresholds = precision_recall_curve(y_test,decision_scores)
plt.plot(thresholds,precisions[:-1])
plt.plot(thresholds,recalls[:-1])
plt.grid()
plt.show()   # 绘制ROC曲线
fprs,tprs,thresholds = roc_curve(y_test,decision_scores)def plot_roc_curve(fprs,tprs):plt.figure(figsize=(8,6),dpi=80)plt.plot(fprs,tprs)plt.plot([0,1],linestyle='--')plt.xticks(fontsize=13)plt.yticks(fontsize=13)plt.ylabel('TP rate',fontsize=15)plt.xlabel('FP rate',fontsize=15)plt.title('ROC曲线',fontsize=17)plt.show()plot_roc_curve(fprs,tprs)# 求面积,相当于求得分
# auc:area under curve
print(roc_auc_score(y_test,decision_scores))

四、算法分析

• 逻辑回归LogisticRegression是一种分类算法，虽然名称带有回归二字，但是其实它是标准的解决分类问题的模型，利用了回归的思路解决分类问题。
• LogisticRegression回归模型在sklearn.linear_modelLogistic子类下，其主要参数：
• Regression(C=1.0, class_weight=None, dual=False, fit_intercept=True,intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,penalty='l2', random_state=None, solver='liblinear', tol=0.0001,verbose=0, warm_start=False)
  • penalty：正则化选择参数，可选择的值为"l1"和"l2"，分别对应L1的正则化和L2的正则化，默认是L2的正则化。调参的主要目的只是为了解决过拟合的话，一般penalty选择L2正则化。但是如果选择L2正则化还是过拟合，即预测效果差的时候，就可以考虑L1正则化。另外，如果模型的特征非常多，希望一些不重要的特征系数归零，从而让模型系数稀疏化的话，也可以使用L1正则化。　penalty参数的选择会影响我们损失函数优化算法的选择。即参数solver的选择，如果是L2正则化，那么4种可选的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以选择。但是如果penalty是L1正则化的话，就只能选择‘liblinear’了。这是因为L1正则化的损失函数不是连续可导的，而{‘newton-cg’, ‘lbfgs’,‘sag’}这三种优化算法时都需要损失函数的一阶或者二阶连续导数。而‘liblinear’并没有这个依赖。
  • solver：优化算法选择参数，有4种算法可以选择，分别为：

              1) liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。

　　　　2) lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

　　　　3) newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

　　　　4) sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候，SAG是一种线性收敛算法，这个速度远比SGD快。