#简介#
本篇是数据清洗的一点经验总结，涉及到以下功能：预览、异常值处理、数据类型转换、字符串操作、选取行列、通过定义函数实现规则判断等，依然是代码+注释+总结。
任务目标：将开放收入表里的各种数据进行预处理，以满足分析要求。
目标拆解：逢山开路，遇水架桥，直到数据符合可用标准。

#代码展示#
#仅展示思路，代码做了简化

import os,sys
import numpy as np
import pandas as pd
import openpyxl
import csv
import xlwt#遍历文件夹,输出文件夹下所有的文件路径及名称
def walk(path):if not os.path.exists(path):return -1for root,dirs,names in os.walk(path):for filename in names:if os.path.splitext(filename)[1] == '.csv':docs = os.path.join(root,filename)print(docs)csvlist.append(docs)
#定义函数实现规则判断
def pro(a):if "内蒙古" in a or "山西" in a:return "晋蒙战区"elif "北京" in a or "天津" in a or "山东" in a or "晋蒙" in a or "河北" in a:return aelse:return "其他"csvlist = [] 
cur_path = os.getcwd()
walk(cur_path)for doc in csvlist:df = pd.read_csv(doc,encoding = "gbk")df = df[df['自营外单'].isin([0])][df['外单内部B商家'].isin([0])][["月份","客户名称","始发一级战区","商家渠道名称","自营外单","外单内部B商家","单量","重量","收入","成本"]]df.head(10)df.dtypes()df.info()df["商家渠道名称"] = df["商家渠道名称"].astype(str)df = df[~df["商家渠道名称"].str.contains('冷链|生鲜|医药')]df["归属战区"] = df.apply(lambda df:pro(df.始发一级战区),axis=1)df[["收入","成本"]].fillna(0)df.groupby([["月份","始发一级战区"]]).sum().reset_index()df["单均收入"] = df[["收入","单量"]].apply(lambda df:df["收入"]/df["单量"],axis=1)df["单公斤收入"] = df[["收入","重量"]].apply(lambda df:df["收入"]/df["重量"],axis=1)columns =["月份","始发一级战区","单量","重量","收入","单均收入","单公斤收入"]df.to_csv("汇总数据.csv",columns =columns,encoding = "gbk")

#代码拆解#
遍历文件夹、读取csv部分与上一篇相同，此处不做赘述。
数据预览

df.head(10)#预览前10行数据
df.dtypes()#显示每个字段的数据类型
df.info()#显示每个字段的信息，包含位数、数据类型等
df.shape()#显示数据文件的行列形状
#另，numpy创建数组时支持reshape()改变行列结构

异常值处理
重复值去重，缺失值填充，偏离值调整

重复值去重：
df.drop_duplicates(subset=[], keep='first', inplace=False)
#subset参数为选定的列，keep参数决定保留的值，inplace决定是否替代缺失值处理：
df[].isnull()#判断是否为缺失值，输出一列True or False布尔型
df.dropna()#去除缺失值，此时去除的是数据表中的整行，可通过调整参数实现其他功能
df.dropna(how="all",axis=1)#去除所有值为空的列
df.fillna(0)#以0填充缺失值

关于fillna()函数的各参数，@Denver_Liao 的这篇文章写的很详细：

https://blog.csdn.net/weixin_39549734/article/details/81221276

如何缺失值更合理的问题需要具体情况具体分析；偏离值的调整涉及到更深层次的统计学知识，本人不甚了解不做讨论；

数据类型转换
对行列的值进行操作时，会对列的数据类型有要求。比如如果某一列有多种数据类型，pandas读取csv时会进行报错，此时就需要指定读取列的数据类型。
转换数据类型的方式主要有两种：使用库的函数转换或者通过自定义函数转换

1. 通过astype函数和pandas自带函数

df.dtypes()#查看字段数据类型
df[].astype(str)#转换为字符串
df[].astype(float)#转换为浮点数（要求为全数字的字符串，不能包含特殊字符）
df[].astype(int)#转换为整数
pd.to_numeric(df["收入"],errors='coerce').fillna(0)#转换为数字型，无法识别字符串
pd.to_datetime(df[['Month', 'Day', 'Year']])#将年月日进行合并

2. 通过自定义函数

定义函数法：
def convert(a):b = a.replace(r'[^\w\s]+', '')return float(b)#将列a中的特殊符号去除，然后转换为float浮点数，需要string库支持快捷方法：利用apply函数等
df["单量"] = df["单量"].str.replace(r'[^\w\s]+', '').astype("int")
df["金额"].apply(lambda x: x.replace("￥","")).astype("float64")

关于数据类型转换，这篇博客写的不错：https://www.cnblogs.com/onemorepoint/p/9404753.html

本文未对时间日期类数据类型的转换进行讨论，日后有机会再补一篇

字符串操作
对字符串的拆分合并、调整替换等
val.split(',')对val按，拆分；
pieces = [x.strip() for x in val.split(',')]split和strip用于清除空格；
字符串替换见数据类型转换replace部分

选取行列

df = df[df['自营外单'].isin([0])][df['外单内部B商家'].isin([0])][["月份","客户名称","收入","成本"]]
df[].isin(["a","b")函数用于选择特定列值中包含a或者b的行；
df = df[~df["商家渠道名称"].str.contains('冷链|生鲜|医药')]#通过str.contains()函数筛选包含关键字的行，“或”以“|”符号表示
df = df[df["自营外单"] == "0"]#以布尔值进行判断
df.iloc[[0:5],[0:5]]选取6×6范围内的单元格，前为行后为列，只有：表示全选

自定义函数规则判断
很简单有效的方法，展示几个例子：

list1 = ["北京战区","河北战区","山东战区","天津战区","晋蒙战区","其他"]def pro(a):if "内蒙古" in a or "山西" in a:return "晋蒙战区"elif a in a list1:return aelse:return "其他"

#用于规避0/0的bug：
def div(a,b):if b == 0 or a == 0:return 0else:return a/b

自定义函数实现规则是个很有效的手段，应用起来也很简单方便，通过apply&lambda函数就可以实现；如df["归属战区"] = df.apply(lambda df:pro(df.始发一级战区),axis=1),如果参数为某一列，需要以 df.列名 设置参数

以上就是本次的分享了，零零散散扯了很多，希望能让大家少走些弯路~