数据总体了解：

读取数据集并了解数据集大小，原始特征维度；

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
import warnings
warnings.filterwarnings('ignore')
data_train = pd.read_csv('train.csv', sep=',')
data_train

通过info熟悉数据类型；

data_train.info()

粗略查看数据集中各特征基本统计量；

data_train.describe()

缺失值和唯一值：

查看数据缺失值情况
以比例的形式查看空缺值占比，由于属性较多，仅显示有缺失值的项。

miss = data_train.isnull().sum()/len(data_train)
miss[miss>0].sort_values(ascending = False)

查看唯一值特征情况

# 查看训练集测试集中特征属性只有一值的特征
one_value_fea = [col for col in data_train.columns if data_train[col].nunique() <= 1]
one_value_fea_test = [col for col in data_test_a.columns if data_test_a[col].nunique() <= 1]
one_value_fea
one_value_fea_test

out:['policyCode']
out:['policyCode']

深入数据-查看数据类型

# 数值型变量分析，数值型肯定是包括连续型变量和离散型变量的，找出来
# 划分数值型变量中的连续变量和离散型变量
#过滤数值型类别特征
def get_numerical_serial_fea(data,feas):numerical_serial_fea = []numerical_noserial_fea = []for fea in feas:temp = data[fea].nunique()if temp <= 10:numerical_noserial_fea.append(fea)continuenumerical_serial_fea.append(fea)return numerical_serial_fea,numerical_noserial_fea
numerical_serial_fea,numerical_noserial_fea = get_numerical_serial_fea(data_train,numerical_fea)
numerical_serial_fea
numerical_noserial_fea

out:['id','loanAmnt','interestRate','installment','employmentTitle','annualIncome','purpose','postCode','regionCode','dti','delinquency_2years','ficoRangeLow','ficoRangeHigh','openAcc','pubRec','pubRecBankruptcies','revolBal','revolUtil','totalAcc','title','n0','n1','n2','n2.1','n4','n5','n6','n7','n8','n9','n10','n13','n14']out:['term','homeOwnership','verificationStatus','isDefault','initialListStatus','applicationType','policyCode','n11','n12']

类别型数据
类别型特征有时具有非数值关系，有时也具有数值关系。比如‘grade’中的等级A，B，C等，是否只是单纯的分类，还是A优于其他要结合业务判断。

data_train.grade
out:0         E
1         D
2         D
3         A
4         C..
799995    C
799996    A
799997    C
799998    A
799999    B
Name: grade, Length: 800000, dtype: object

数值型数据:
数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。

离散数值型数据

# 数值类别型变量分析
data_train['term'].value_counts()#离散型变量
out: 3    606902
5    193098
Name: term, dtype: int64

连续数值型数据

# 数值连续型变量分析
#每个数字特征得分布可视化
f = pd.melt(data_train, value_vars=numerical_serial_fea)
g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False)
g = g.map(sns.distplot, "value")

时间格式数据处理及查看

# 2.3.6 时间格式数据处理及查看¶
#转化成时间格式  issueDateDT特征表示数据日期离数据集中日期最早的日期（2007-06-01）的天数。 train Set
data_train['issueDate'] = pd.to_datetime(data_train['issueDate'],format='%Y-%m-%d')
startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
data_train['issueDateDT'] = data_train['issueDate'].apply(lambda x: x-startdate).dt.days
data_train['issueDate']
data_train['issueDateDT']
out:0        2014-07-01
1        2012-08-01
2        2015-10-01
3        2014-10-01
4        2014-01-01...    
612737   2014-10-01
612738   2016-07-01
612739   2015-10-01
612740   2015-02-01
612741   2018-08-01
Name: issueDate, Length: 612742, dtype: datetime64[ns]
out:0         2587
1         1888
2         3044
3         2679
4         2406... 
612737    2679
612738    3318
612739    3044
612740    2802
612741    4079
Name: issueDateDT, Length: 612742, dtype: int64

#转化成时间格式 test Set
data_test_a['issueDate'] = pd.to_datetime(data_train['issueDate'],format='%Y-%m-%d')
startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
data_test_a['issueDateDT'] = data_test_a['issueDate'].apply(lambda x: x-startdate).dt.days

可视化如下：

plt.hist(data_train['issueDateDT'], label='train');
plt.hist(data_test_a['issueDateDT'], label='test');
plt.legend();
plt.title('Distribution of issueDateDT dates');
#train 和 test issueDateDT 日期有重叠 所以使用基于时间的分割进行验证是不明智的
plt.show()

总结：

数据分析阶段，对后期数据特征提取，建立模型至关重要，是数据分析的开端，也算是分析的核心阶段。详细的分析过程和可视化，可以让人更容易的了解数据特征、特性，以及未来发展方向。