简介和目的

1. 这个数据集是一些模拟 Starbucks rewards 移动 app 上用户行为的数据。每隔几天，星巴克会向 app 的用户发送一些推送。这个推送可能仅仅是一条饮品的广告或者是折扣券或 BOGO（买一送一）。一些顾客可能一连几周都收不到任何推送。我的任务是将交易数据、人口统计数据和推送数据结合起来判断哪一类人群会受到某种推送的影响。
2. 我的工作：首先对数据进行预处理，讲用户数据和推送offer数据、交易数据合并到一起，然后对用户数据进行特征处理和分类，最后通过深度学习，预测用户的推送offer完成率，从而可以针对性的推送offer

第一步：特征工程

准备数据集

一共有三个数据文件：
portfolio.json – 包括推送的 id 和每个推送的元数据（持续时间、种类等等）
profile.json – 每个顾客的人口统计数据
transcript.json – 交易、收到的推送、查看的推送和完成的推送的记录
以下是文件中每个变量的类型和解释 ：
portfolio.json：
id (string) – 推送的id
offer_type (string) – 推送的种类，例如 BOGO、打折（discount）、信息（informational）
difficulty (int) – 满足推送的要求所需的最少花费
reward (int) – 满足推送的要求后给与的优惠
duration (int) – 推送持续的时间，单位是天
channels (字符串列表)
profile.json
age (int) – 顾客的年龄
became_member_on (int) – 该顾客第一次注册app的时间
gender (str) – 顾客的性别（注意除了表示男性的 M 和表示女性的 F 之外，还有表示其他的 O）
id (str) – 顾客id
income (float) – 顾客的收入
transcript.json
event (str) – 记录的描述（比如交易记录、推送已收到、推送已阅）
person (str) – 顾客id
time (int) – 单位是小时，测试开始时计时。该数据从时间点 t=0 开始
value - (dict of strings) – 推送的id 或者交易的数额

概览3个数据集

1. portfolio

• 只有10个数据 对应不同的推送活动 所以 ifficulty,duration, offer_type,reward可以合并起来 作为一个完整的推送offer名字
• channels 列可以做成onehot编码

2. profile

• gender 和 income存在缺失数据
• became_member_on 应该转化为datetime,
• age数据里 有太多118岁的 看上去不正常,总共2175人，并且118岁的用户 在income和gender上都缺失了信息（占总数的14%） 如果不影响整体特征分布 可以考虑删除。

3. transcript

• value 列有两种情况 ‘offer id’ 或者’offer_id’ 字典，值为offerid，‘amount’字典，值为交易量，因此这一列需要拆成2列，分别用’offer_id’和’amount’作为列名，值为对应的字典值，注意需要把’offer id’变为’offer_id’

合并数据集

将上述3个数据集 通过用户id 和offer_id合并成一个dataframe，

无效交易处理

查看不同offer 的 receive，view 和 complete 数量与receive数量的比值，做出水平图

对于bogo_5_7_5和discount_20_10_5这两种推送，complete 竟然比 view还多 说明有的人 complete 和推送无关, 属于无效记录。

因此利用每个用户对应的每个offid，其complete是否发生在receive后的活动有效时间内，如果不是则记为 invalid。去除无invalid后，的 receive，view 和 complete 数量与receive数量的比值

可以看出，去除invalid后 ，complete 竟然比 view少，属于合理情况。

增加和变换特征

根据用户信息和推送offer信息合并后的dataframe，给每个用户增加新的特征，包括：

• 交易统计量 “avg_spending”, “transaction_count”, ‘sum_spending’,
• 完成率统计量 “rate_comp_rec”, “rate_comp_view”,
• offer交互统计量 ‘ofbogo_count’, ‘ofdisc_count’,‘ofinfor_count’
• 无效交易统计量 ‘invalid_count’
• became_member_on转换为 member_days_since和 member_year
• 对 gender 和 member_year 等分类信息，进行onehot编码

通过数据分析，观察是否删除缺失行

• 比较特征工程后的数据，如果某列有30%缺失，整列直接删除
• 对于剩下的，分为有行缺失和无行缺失，比较两者在其他特征的分布
  
  
  
  
  发现有行缺失和无行缺失的行，在其他特征上的分布并无明显区别，因此删除所有有缺失的行

第二步：用户分类

PCA处理

根据用户数据特征，对用户进行PCA处理，找到累计概率超过95%的主成分

• Elbow曲线并没有发现明显拐点
• 根据 Silhoutte Score曲线，选择12类比较好

Kmeans分类结果

• 8 3 10 这几类客户最多，其次是0 1 2 4 6 这5类，5 7 9 11 这四种客户比较少
  
• complete/recieve 比值，和complete/recieve 比值 都是1类用户最高，其次是6 9 11类用户，0 3 8 10这四类用户的 offer完成率比较差
  
• 0 6 10这三类用户的男性最多，2 3 8这三类用户的女性最多
• 其他性别的人都在第9类用户里

第三步：预测用户完成率

采用特征处理和 含有分类结果的用户数据，进行深度学习，预测用户的推送offer完成率，从而可以针对性的推送offer

• 首先对数据进行scale预处理，并分割训练集 测试集
• 通过线性回归初步预测
• 通过多种算法预测 找到最优算法
• 对最优算法进行调参

数据准备

• 把前面得到的用户分类结果 也作为特征，并通过onehot编码转化为多列特征

线性模型

用 LinearRegression 预测，分数：
R^2: 0.4084 with stdev 0.0267
MSE: 0.0633 with stdev 0.0033

寻找最优模型

比较了190中机器学习模型，最优10种结果如下：
Rank=1, Name=gbm, Score=-0.055 (+/- 0.003)
Rank=2, Name=bag, Score=-0.059 (+/- 0.004)
Rank=3, Name=rf, Score=-0.059 (+/- 0.004)
……

最优模型调参

选取 Gradient boosting模型，调参
parameters = {
‘estimator__n_estimators’:[50, 75,100,200,300, 500],
‘estimator__max_depth’ : [2,3,5,8,10, None],
‘estimator__min_samples_split’ : [2,5,7,9,12],
‘estimator__min_samples_leaf’ : [1,3,5,7,9]
}
调参后结果如下：
R^2 score : 0.4899010925056648
MSE : 0.05459027872088544

结论

1. 采用线性回归方法 得分 R^2:0.4084 MSE:0.0633
2. 采用Gradient boosting方法 得分 R^2: 0.4925 MSE: 0.0546
3. 采用调参后的Gradient boosting方法 得分 R^2 score:0.4899 MSE:0.0546
4. 最终模型准确率并不高，可能是因为特征提取的还不够 需要更多特征 比如提取用户 对每一种推送offer接收数量、完成数量和完成/接收率，以及提取用户的年龄分组