Kaggle竞赛案例-泰坦尼克获救预测

1.数据介绍

获救与否、仓位等级、名字（玄学）、性别、年龄、兄弟姐妹数量、带的老人孩子数量、票面编号（玄学）、船票价格、客舱（缺失值过多）、上船地点

2.数据预处理

• 填充年龄缺失值为年龄平均值

titanic["Age"]=titanic["Age"].fillna(titanic["Age"].median())

• 把类别字符换成数字：male->0

titanic.loc[titanic["Sex"]==uniq_Sex[0],"Sex"]=0
titanic.loc[titanic["Sex"]==uniq_Sex[1],"Sex"]=1

• 转换并填充上船地点缺失值，

titanic["Embarked"]==titanic["Embarked"].fillna('S')
titanic.loc[titanic["Embarked"]==uniq_Em[0],"Embarked"]=0
titanic.loc[titanic["Embarked"]==uniq_Em[1],"Embarked"]=1
titanic.loc[titanic["Embarked"]==uniq_Em[2],"Embarked"]=2

• 快速判断数据中有没有NaN

#检查titanic[predictors]有没有哪一列存在空值
A=titanic[predictors].isnull().any(axis=1)
A.loc[A==True]

3.线性回归方法（效果一般）

为了选择合适的参数，进行“交叉验证”(cross validation)

cross validation大概的意思是：对于原始数据我们要将其一部分分为train_data，一部分分为test_data。
train_data用于训练，test_data用于测试准确率。在test_data上测试的结果叫做validation_error。
将一个算法作用于一个原始数据，我们不可能只做出随机的划分一次train和test_data，
然后得到一个validation_error，就作为衡量这个算法好坏的标准。因为这样存在偶然性。
我们必须好多次的随机的划分train_data和test_data，分别在其上面算出各自的validation_error。
这样就有一组validation_error，根据这一组validation_error，就可以较好的准确的衡量算法的好坏。

把训练数据集分成三份

trian_set_1	trian_set_2	trian_set_3	test_set

（1）用trian_set_1和 trian_set_2训练，用 trian_set_3测试
（2）用trian_set_2和 trian_set_3训练，用 trian_set_1测试
（3）用trian_set_1和 trian_set_3训练，用 trian_set_1测试
得到三个正确率，做平均得到模型的准确率

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
#用于预测的列，作为输入
predictors = ["Pclass","Sex","Age","SibSP","Parch","Fare","Embarked"]
#
alg = LinearRegression()
#随机种子：一个确定的随机值将会产生相同的结果，在参数和训练数据不变的情况下
kf = KFold(n_splits=3)
KFold(n_splits=3, random_state=None, shuffle=False)predictions = []
for train, test in kf.split(titanic):train_predictors = (titanic[predictors].iloc[train,:])#print('train_predictors ')#print(train_predictors )train_target = titanic["Survived"].iloc[train]#print('train_target ')#print(train_target)alg.fit(train_predictors,train_target)test_predictions = alg.predict(titanic[predictors].iloc[test,:])#print('test_predictions ')#print(test_predictions)predictions.append(test_predictions)

目前cross_validation被废弃了,所有的包和方法都在model_selection中

 ModuleNotFoundError: No module named 'sklearn.cross_validation'

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold
#用于预测的列
predictors = ["Pclass","Sex","Age","SibSP","Parch","Fare","Embarked"]
alg = LinearRegression()#随机种子：一个确定的随机值将会产生相同的结果，在参数和训练数据不变的情况下
kf = KFold(titanic.shape[0],n_fold=3,random_state=1)predictions = []
for train, test in kf:train_predictors = (titanic[predictors].iloc[train,:])train_target = titanic["Survived"].iloc[train]alg.fit(train_predictors,train_target)test_predictions = alg.predict(titanic[predictors].iloc[test,:])predictions.append(tes_predictions)

关于KFold

class sklearn.model_selection.KFold(n_splits=5, *, shuffle=False, random_state=None)n_splits:折数default=5
shuffle：每次划分后是否重新洗牌

3.1整理二分类回归结果

调用numpy将测试结果（获救概率）以50%为界做二分类，并将预测结果与真实结果比较得出正确率

import numpy as np
#predictions是由3个独立数组拼成的数组集合，concatenate将三个数组合为一个
predictions = np.concatenate(predictions,axis=0)#将输出的0到1区间内的结果以0.5作为分界点做二级分化
predictions[predictions > .5] = 1
predictions[predictions <= .5] = 0
#将预测输出的结果与训练集中的真实结果进行正确率比较
accuracy = sum(predictions ==titanic['Survived']) / len(predictions)
print(accuracy)

0.7833894500561167

4.逻辑回归方法（效果一般）

from sklearn.linear_model import  LogisticRegression
from sklearn.model_selection import cross_val_score
alg = LogisticRegression(random_state=42,max_iter=3000)
scores = cross_val_score(alg,titanic[predictors],titanic['Survived'],cv = 3)
print(scores.mean())

0.7946127946127947

题外话：
使用交叉验证，它也可以来辅助选择参数

from sklearn import datasets	#自带数据集
from sklearn.model_selection import train_test_split,cross_val_score	#划分数据 交叉验证
from sklearn.neighbors import KNeighborsClassifier  #一个简单的模型，只有K一个参数，类似K-means
import matplotlib.pyplot as plt
iris = datasets.load_iris()		#加载sklearn自带的数据集
X = iris.data 			#这是数据
y = iris.target 		#这是每个数据所对应的标签
train_X,test_X,train_y,test_y = train_test_split(X,y,test_size=1/3,random_state=3)	#这里划分数据以1/3的来划分 训练集训练结果 测试集测试结果
k_range = range(1,31)
cv_scores = []		#用来放每个模型的结果值
for n in k_range:knn = KNeighborsClassifier(n)   #knn模型，这里一个超参数可以做预测，当多个超参数时需要使用另一种方法GridSearchCVscores = cross_val_score(knn,train_X,train_y,cv=10,scoring='accuracy')  #cv：选择每次测试折数  accuracy：评价指标是准确度,可以省略使用默认值，具体使用参考下面。cv_scores.append(scores.mean())
plt.plot(k_range,cv_scores)
plt.xlabel('K')
plt.ylabel('Accuracy')		#通过图像选择最好的参数
plt.show()
best_knn = KNeighborsClassifier(n_neighbors=3)	# 选择最优的K=3传入模型
best_knn.fit(train_X,train_y)			#训练模型
print(best_knn.score(test_X,test_y))	#看看评分

5.随机森林方法

简要介绍:

监督学习算法
兼顾分类和回归
由一些决策树组成：决策树越多，随机森林鲁棒性越强，精度越高
信息增益、Gint算法
每个树会对新的样本做出预测，分类：森林会将树投票最多的分类作为结果；回归：每棵树结果做平均
优点：- 1.两者兼顾- 2.即使部分数据缺失也有很好的精度- 3.决策树增加不会使得森林过拟合- 4.可以对数据量庞大的高维数据分类缺点：- 1.回归效果不如分类，预测不是天生连续的- 2.在解决回归问题时，不能为训练数据以外的数据给出答案- 3.训练数据噪声带来过拟合随机森林更像一个黑箱，很难控制，只能尝试使用不同的参数和种子观察效果应用：- 1.银行寻找忠诚度高和低的用户- 2.预测股票走势- 3.推荐引擎，确定用户对推荐的好评度- 4.计算机视觉图像分类，微软在体感游戏机用随机森林识别人体部位- 5.语音识别伪代码：- 1.N个样本，M个特征- 2.每次取出部分样本，每次取出的不完全相同，每个节点选m(<M)个样本，把m分裂成两部分，用m最佳的分裂方法对节点分裂。m大小始终不变- 3.每棵树完全成长，不被修剪是集成学习的代表：一定数量的弱学习机器可以组成强的学习机器Bagging=Boostrap Aggregating机器学习集成算法，针对提高算法精度和稳定性提出的统计学分类算法和回归算法，避免了过拟合
Boosting大幅降低偏差和方差的有监督集成学习算法，将一定数量的弱学习机器组成强的学习机器

针对泰坦尼克数据集：
（1）随机取样：891个样本，有放回地取80个
（2）随机选择特征：指定7个初始特征，可规定每个树随机选取5个特征(也许某个特征是负面的特征)

from sklearn.ensemble import RandomForestClassifier
#随机森林
predictors = ["Pclass","Sex","Age","SibSp","Parch","Fare","Embarked"]
alg = RandomForestClassifier(random_state=1, n_estimators=100, min_samples_split=4, min_samples_leaf=2)
# presictors = ["Pclass", "Sex", "Age", "SibSp", "Parch", "Fare", "Embarked", "Titles", "FamilySize", "NameLenght"]
kf = KFold(n_splits=3)
scores = cross_val_score(alg, titanic[predictors], titanic["Survived"], cv=kf.split(titanic))
print(scores.mean())

0.8148148148148148

题外话：
Kfold和cross_val_score的差别：
kfold是将数据集划分为K-折，只是划分数据集；

cross_val_score是根据模型进行计算，计算交叉验证的结果，简单认为就是cross_val_score中调用了kfold进行数据集划分。
cross_val_score中可选择的cv参数：

 - None, to use the default 5-fold cross validation,
设置None，使用默认的5折交叉验证- int, to specify the number of folds in a (Stratified)KFold,
正数，指定折数

那么cross_val_score中cv=5与cv=KFold(n_splits=5)有什么区别？来自：https://blog.csdn.net/qq_22592457/article/details/103584053

如果估计器是一个分类器，并且y是二进制或多类，则使用StratifiedKFold，如果是其他情况，就用KFold这里的StratifiedKFold是啥？cv=StratifiedKFold(n_splits=5)其实就等价于cv=5

且cv=3的结果确实优于cv=kf的结果
剩下的参考：Python-sklearn包中StratifiedKFold和KFold生成交叉验证数据集的区别 https://blog.csdn.net/MsSpark/article/details/84455402

可通过交叉验证看参数选择是否合适

6.特征选择

如何提取新的特征？只用原始的元特征效果一定最好吗？
“兄弟姐妹数量”“父母数量”的影响？

#创造新特征"FamilySize"
titanic["FamilySize"] = titanic["SibSp"]+titanic["Parch"]#创造新特征"namelength"
titanic["namelength"] = titanic["Name"].apply(lambda x:len(x))

提取名字中带有称谓，Miss Mrs Mr Dr

import re
#使用正则表达 截取人名中的身份称呼
def get_title(name):title_search = re.search('([A-Za-z]+)\.',name)if title_search:return title_search.group(1)return ''
#以身份称呼为分类 统计船员个数
titles = titanic['Name'].apply(get_title)
print(pandas.value_counts(titles))
#将身份称呼进行 数字编码title_mapping = {"Mr":1,"Miss":2,"Mrs":3,"Master":4,"Dr":5,"Rev":6,"Major":7,"Col":7,"Mlle":8,"Mme":8,"Don":9,"Lady":10,"Countess":10,"Jonkheer":10,"Str":9,"Capt":7,"Ms":2,"Sir":9}for k,v in title_mapping.items():titles[titles==k]=vprint(pandas.value_counts(titles))

Mr 517
Miss 182
Mrs 125
Master 40
Dr 7
Rev 6
Major 2
Col 2
Mlle 2

看每一列的重要程度：
导入SKlearn的特征选择模块，通过向训练集中加入噪音数值，来判断影响最大的特征
例如：对age列，不变时错误率e1，然后每个age数据加上噪音，而其他列不改变，得到错误率e2，如果错误率显著上升，特征相对重要。

#导入特征选择模块
import numpy as npfrom sklearn.feature_selection import SelectKBest,f_classif
import matplotlib.pyplot as pltpredictors = ["Pclass","Sex","Age","SibSp","Parch","Fare","Embarked","FamilySize","Title","namelength"]#通过加入噪音值观察
selector = SelectKBest(f_classif,k=5)
selector.fit(titanic[predictors],titanic["Survived"])scores=-np.log10(selector.pvalues_)#输出柱状图
plt.bar(range(len(predictors)),scores)
plt.xticks(range(len(predictors)),predictors,rotation='vertical')
plt.show()

用较重要的特征做新特征进行预测

8.集成

集成多种分类取平均

from sklearn.ensemble import GradientBoostingClassifier
algorithms = [
[GradientBoostingClassifier(random_state=1, n_estimators=25, max_depth=3),   ["Pclass", "Sex", "Fare", "FamilySize", "Title", "Age", "Embarked"]],[LogisticRegression(solver='liblinear', random_state=1), ["Pclass", "Sex", "Fare", "FamilySize", "Title", "Age", "Embarked"]]]# Initialize the cross validation foldskf = KFold(n_splits=3, shuffle=False, random_state=1)predictions = []for train, test in kf.split(titanic[predictors]):train_target = titanic["Survived"].iloc[train]full_test_predictions = []# Make predictions for each algorithm on each foldfor alg, predictors in algorithms:# Fit the algorithm on the training dataalg.fit(titanic[predictors].iloc[train, :], train_target)# Select and predict on the test fold.# The .astype(float) is necessary to convert the dataframe to all floats and avoid an sklearn errortest_predictions = alg.predict_proba(titanic[predictors].iloc[test, :].astype(float))[:, 1]full_test_predictions.append(test_predictions)# Use a simple ensembling scheme--just average the predictions to get the final classification.test_predictions = (full_test_predictions[0] + full_test_predictions[1])/2# Any value over .5 is assumed to be a I prediction,and below .5 is a 0 prediction.test_predictions[test_predictions <=.5] =0test_predictions[test_predictions >.5] =1predictions.append(test_predictions)# Put all the predictions together into one array.predictions = np.concatenate(predictions, axis=0)accuracy =sum(predictions == titanic["Survived"]) /len(predictions)print(accuracy)作者：云上空间
链接：https://www.jianshu.com/p/1a755f37ecf5
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

0.8215488215488216
有两种算法共同决定

    test_predictions = (full_test_predictions[0] + full_test_predictions[1])/2

不同分类器也可以有权重

    test_predictions = (full_test_predictions[0]*3 + full_test_predictions[1])/4