---

前言

本文是对天池-贷款违约挑战的Task3-特征工程的记录

---

一、学习目标

特征预处理（缺失值、时间格式处理、特征转换为数值）
异常值处理（基于3segama、基于箱型图）
数据分箱（固定宽度、分位数）

---

二、代码示例

1.引入库

代码如下：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
from tqdm import tqdm
from sklearn.preprocessing import LabelEncoder
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.preprocessing import MinMaxScaler
import xgboost as xgb
import lightgbm as lgb
from catboost import CatBoostRegressor
import warnings
from sklearn.model_selection import StratifiedKFold, KFold
from sklearn.metrics import accuracy_score, f1_score, roc_auc_score, log_loss
warnings.filterwarnings('ignore')

2.读入数据

使用colab平台的读取数据与本地PC读取不同，先放本地PC的

data_train =pd.read_csv('../train.csv')
data_test_a = pd.read_csv('../testA.csv')

这是在colab上的读取代码

data_train = pd.read_csv('drive/My Drive/tianchi/train.csv')
data_test_a = pd.read_csv('drive/My Drive/tianchi/testA.csv')

注意drive文件夹需要在运行你自己的程序前运行一段代码，才能出现，具体colab使用本地数据集的操作间见传送门

传送门在此：【Colab使用本地数据集】

---

3.特征预处理

3.1 缺失值

首先要查看缺失值的情况

data_train.isnull().sum() # 打印出所有特征的存在缺失值的数量

解决办法：

1. 将所有缺失值替换为0
2. 使用缺失值上面的值替换缺失值
3. 纵向用缺失值下面的值替换缺失值,且设置最多只填充两个连续的缺失值

按顺序对应下面三行代码

data_train = data_train.fillna(0)

data_train = data_train.fillna(axis=0,method='ffill')

data_train = data_train.fillna(axis=0,method='bfill',limit=2)

3.2 处理时间格式

以特征“issueDate”为例，具体时间样式见下图

#转化成时间格式
for data in [data_train, data_test_a]:data['issueDate'] = pd.to_datetime(data['issueDate'],format='%Y-%m-%d')startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')#构造时间特征data['issueDateDT'] = data['issueDate'].apply(lambda x: x-startdate).dt.days

3.3 特征转换为数值

以上图中的“employmentLength”特征为例

def employmentLength_to_int(s):if pd.isnull(s):return selse:return np.int8(s.split()[0])
for data in [data_train, data_test_a]:data['employmentLength'].replace(to_replace='10+ years', value='10 years', inplace=True)data['employmentLength'].replace('< 1 year', '0 years', inplace=True)data['employmentLength'] = data['employmentLength'].apply(employmentLength_to_int)

转换前：

data_train['employmentLength'].value_counts(dropna=False).sort_index()
# 下面是输出
1 year 52489
10+ years 262753
2 years 72358
3 years 64152
4 years 47985
5 years 50102
6 years 37254
7 years 35407
8 years 36192
9 years 30272
< 1 year 64237
NaN 46799
Name: employmentLength, dtype: int64

转换后：

0.0 15989
1.0 13182
2.0 18207
3.0 16011
4.0 11833
5.0 12543
6.0 9328
7.0 8823
8.0 8976
9.0 7594
10.0 65772
NaN 11742
Name: employmentLength, dtype: int64

---

4.异常值处理

首先分析导致异常的原因，如果是偶然现象，可以删除（注意只是删除训练集，测试集不能动）。如果是某种规律导致的异常，就必须重新拟合模型，考虑这些异常点。

4.1 均方差检测

在统计学中，如果一个数据分布近似正态，那么大约 68% 的数据值会在均值的一个标准差范围内，大约 95% 会在两个标准差范围内，大约 99.7% 会在三个标准差范围内。

def find_outliers_by_3segama(data,fea):data_std = np.std(data[fea])data_mean = np.mean(data[fea])outliers_cut_off = data_std * 3lower_rule = data_mean - outliers_cut_offupper_rule = data_mean + outliers_cut_offdata[fea+'_outliers'] = data[fea].apply(lambda x:str('异常值') if x > upper_rule or x < lower_rule else '正常值')return data

# 数值类特征
numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)
# 对象特征
category_fea = list(filter(lambda x: x not in numerical_fea,list(data_train.columns)))
label = 'isDefault'
numerical_fea.remove(label)

data_train = data_train.copy()
for fea in numerical_fea:data_train = find_outliers_by_3segama(data_train,fea)

#删除异常值
for fea in numerical_fea:data_train = data_train[data_train[fea+'_outliers']=='正常值']data_train = data_train.reset_index(drop=True)

4.2 箱型图

四分位数会将数据分为三个点和四个区间，IQR = Q3 -Q1，下触须=Q1 − 1.5x IQR，上触须=Q3 + 1.5x IQR；

---

5.数据分箱

5.1 分箱的目的

从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定

5.2 分箱的对象

a. 将连续变量离散化
b. 将多状态的离散变量合并成少状态

5.3 分箱的优点

a. 处理缺失值：当数据源可能存在缺失值，此时可以把null单独作为一个分箱。
b. 处理异常值：当数据中存在离群点时，可以把其通过分箱离散化处理，从而提高变量的鲁棒性（抗干扰能力）。例如，age若出现200这种异常值，可分入“age > 60”这个分箱里，排除影响。
c. 业务解释性：我们习惯于线性判断变量的作用，当x越来越大，y就越来越大。但实际x与y之间经常存在着非线性关系，此时可经过WOE变换。

5.4 分箱的原则

（1）最小分箱占比不低于5%
（2）箱内不能全部是好客户
（3）连续箱单调

5.5 分箱的方法

1、固定宽度分箱
# 通过除法映射到间隔均匀的分箱中，每个分箱的取值范围都是loanAmnt/1000
data['loanAmnt_bin1'] = np.floor_divide(data['loanAmnt'], 1000)
## 通过对数函数映射到指数宽度分箱
data['loanAmnt_bin2'] = np.floor(np.log10(data['loanAmnt']))
2、分位数分箱
data['loanAmnt_bin3'] = pd.qcut(data['loanAmnt'], 10, labels=False)

总结

以上是本次学习的笔记，特征交互、编码、选择这三部分有点难度，以后要慢慢啃