kaggle 相关只是基础

阅读目录

一:安装Anaconda
二:Jupyter Notebook
三:Numpy
四:Matplotlib
五:Pandas
六:Scikit-learn
七:Kaggle

学完了Coursera上Andrew Ng的Machine Learning后,迫不及待地想去参加一场Kaggle的比赛,却发现从理论到实践的转变实在是太困难了,在此记录学习过程.

回到顶部

一:安装Anaconda

教程大多推荐使用Jupyter Notebook来进行数据科学的相关编程,我们通过Anaconda来安装Jupyter Notebook和需要用到的一些python库,按照以下方法重新安装了Anaconda,平台Win10

Anaconda安装

回到顶部

二:Jupyter Notebook

参照以下两篇文章配置好了Jupyter Notebook,学习了相关的基本操作

Jupyter可以做哪些事情

Jupyter Notebook常用快捷键

启动:在cmd或Anaconda Prompt下输入jupyter notebook
新建:Files页面右侧'New'
运行当前cell:Ctrl+Enter
代码补全:Tab
查看方法文档:Shift+Tab
复选cell:Shift+上下键
删除cell:双击D
撤销删除:Z
保存当前Notebook:S
关闭文档:Home页面选中文档后'Shutdown'
关闭服务器:终端中按两次Ctrl+C
显示matplotlib图表:%matplotlib inline
中断运行:I

回到顶部

三:Numpy

numpy中文教程

官方文档

Numpy是一个用于进行数组运算的库
Numpy中最重要的对象是称为ndarray的N维数组类型
一般使用如下语句导入:import numpy as np
创建数组:numpy.array(object, dtype = None, copy = True, order = None, subok = False, ndmin = 0)
可以用np.dtype()定义结构体
数组维度:ndarray.shape
数组维数:ndarray.ndim
调整数组维度:ndarray.reshape(shape)
创建未初始化数组:numpy.empty(shape, dtype = float, order = 'C')
创建零数组:numpy.zeros(shape, dtype = float, order = 'C')
创建一数组:numpy.ones(shape, dtype = float, order = 'C')
用现有数据创建数组:numpy.asarray(a, dtype = None, order = None)
按数值范围创建数组:numpy.arange(start = 0, stop, step = 1, dtype),类似的有linspace()和logspace()
切片:b=a[start:stop:step],可以用...代表剩余维度
整数索引:每个整数数组表示该维度的下标值,b=a[[r1, r2], [c1, c2]]
布尔索引:返回是布尔运算的结果的对象,可以用&或|连接()分隔的条件
在 NumPy 中可以对形状不相似的数组进行操作,因为它拥有广播功能,我的理解是,广播是一种维度的单方向拉伸
数组迭代:numpy.nditer(ndarray)或ndarray.flat
数组长度:len(arr)
访问第i个元素:一维数组用a[i],多维数组用a.flat[i]
数组转置:ndarray.T
数组分割:numpy.split(ary, indices_or_sections, axis),第二项的值为整数则表明要创建的等大小的子数组的数量,是一维数组则表明要创建新子数组的点。
追加值:numpy.append(arr, values, axis)
插入值:numpy.insert(arr, idx, values, axis)
删除值:numpy.delete(arr, values, axis)
去重数组:numpy.unique(arr, return_index, return_inverse, return_counts)
字符串函数:numpy.char类
三角函数:numpy.sin(arr),numpy.cos(arr),numpy.tan(arr)
四舍五入:numpy.around(arr,decimals)
向下取整:numpy.floor(arr)
向上取整:numpy.ceil(arr)
取倒数:numpy.reciprocal(arr),注意对于大于1的整数返回值为0
幂运算:numpy.power(arr,pow),pow可以是一个数,也可以是和arr对应的数组
取余:numpy.mod(a,b),b可以是一个数,也可以是和a对应是数组
最小值:numpy.amin(arr,axis)
最大值:numpy.amax(arr,axis)
数值跨度:numpy.ptp(arr,axis)
算术平均值:numpy.mean(arr,axis)
标准差:numpy.std(arr)
方差:numpy.var(arr)
副本的改变会影响原数组(赋值),视图的改变不会影响原数组(ndarray.view(),切片,ndarray.copy())
线性代数:numpy.linalg模块

回到顶部

四:Matplotlib

官方教程

官方教程中文翻译

matplotlib入门教程

Jupyter Notebook Viewer的matplotlib lecture

建议先看官方教程,通过折线图熟悉基本操作,然后看入门教程第三章到第六章掌握各种图的画法

一般使用如下语句导入:import matplotlib.pyplot as plt
绘图:plt.plot(x,y),可选color,marker,label等参数,默认的x坐标为从0开始且与y长度相同的数组,x坐标与y坐标一般使用numpy数组,也可以用列表
设置线条:plt.setp()
轴名称:plt.xlable('str'),plt.ylable('str)
添加文本:plt.txt(xpos,ypos,'str')
添加格子:plt.grid(True)
展示图片:plt.show()
图题:plt.title('str')
图示:plt.legend(),结合plot()中的label参数使用
获取子图:plt.sublot(nrows,ncols,index)或plt.subplot2grid((nrows,ncols),(rows,cols)),可选colspan和rowspan属性
创建画布:plt.figure()
数学表达式:TeX表达式
非线性轴:plt.xscale('scale'),plt.yscale('scale'),可选参数log,symlog,logit等
填充颜色:plt.fill(x,y)和plt.fill_between(x,y,where=...)
条形图:plt.bar(x,y),注意多个条形图的默认颜色相同,应选择不同的颜色方便区分
直方图:plt.hist(x,bins),直方图是一种显示区段内数据数量的图像,x为数据,bins为数据区段,可选histtype,rwidth等属性
散点图:plt.scatter(x,y),散点图通常用于寻找相关性或分组,可选color,marker,label等属性
堆叠图:plt.stackplot(x,y1,y2,y3...),堆叠图用于显示部分对整体随时间的关系,通过利用plt.plot([],[],color,label)添加与堆叠图中颜色相同的空行,可以使堆叠图的意义更加清晰,可选colors等属性
饼图:plt.pie(slice),饼图用于显示部分对整体的关系,可选labels,colors,explode,autupct等属性

回到顶部

五:Pandas

10 Minutes to Pandas

十分钟搞定pandas(上文翻译版)

利用python进行数据分析

上面两个教程用于速成,下面这本书是pandas的作者写的,用于仔细了解

一般使用如下语句导入:import pandas as pd
Pandas是基于NumPy 的一种工具,提供了一套名为DataFrame的数据结构,比较契合统计分析中的表结构,可用Numpy或其它方式进行计算
创建Series:pd.Series=(data,index),Series是一维数组
创建DataFrame:pd.DataFrame(data,index,colums),也可以传递一个字典结构来填充data和colums,DataFrame类似于二维表格,简称df
查看df头尾行:df.head(i),df.tail(i),如不填参数则分别返回除了前五行/倒数前五行的内容
查看索引/列/数据:df.index,df.colums,df.values
快速统计汇总:df.descrbe()
数据转置:df.T
按轴排序:df.sort_index(axis=0,ascending=True)
按值排序:df.sort_values(colums,axis=0,ascending=Ture)
获取:df['columnname']或df.columnname,会返回某列
通过条件选取某列:df = df[df('columns') == 'a']
对行切片:df[start:stop:step],利用df[n:n+1]即可获取某行
通过标签选择某行:df.loc[index,columname]
通过位置选择某行:df.iloc[indexpos,columnpos],df.iloc[i,:]可获取一行,df.iloc[:,i]可获取一列
布尔索引:df[bool],可以对单独的列进行判定,也可以对整个DataFrame进行判定
在pandas中使用np.nan代替缺失值,这些值不会被包含在计算中
对index和columns进行增删改:df.reindex(index,columns)
去掉含有缺失值的行:df.dropna(how='any'),可以选择how='all'只去掉所有值均缺失的行
补充缺失值:df.fillna(value)
数据应用:df.apply(func),可以是现有函数也可以是lambda函数
连接:pd.contact(obj),obj可以是Series,DataFrame,Panel
合并:pd.merge(left,right)
追加:df.append(data)
分组:df.groupby(columnname).func(),通常为分组/执行函数/组合结果
时间:pandas有着重采样等丰富的时间操作
写入CSV文件:df.to_csv(filename)
读取CSV文件:df.read_csv(filename),结果为DataFrame

回到顶部

六:Scikit-learn

python机器学习实践与kaggle实战

Sklearn快速入门

官方文档

官方文档中文翻译

sklearn 把所有机器学习的模式整合统一起来了,学会了一个模式就可以通吃其他不同类型的学习模式
步骤一般分为导入模块-创建数据-建立模型-训练-预测

特征工程:

在机器学习中,很重要的一步是对特征的处理,我们参考下文,先给出一些常用的特征处理方法在sklearn中的用法

使用sklearn做单机特征工程

标准化(需要使用距离来度量相似性或用PCA降维时):

from sklearn.preprocessing import StandardScaler
data_train = StandardScaler().fit_transform(data_train)
data_test = StandardScaler().fit_transform(data_test)

区间缩放:

from sklearn.preprocessing import MinMaxScaler
data = MinMaxScaler().fit_transform(data)

归一化(利于计算梯度下降,消除量纲):

from sklearn.preprocessing import Normalizer
data = Normalizer().fit_transform(data)

定量特征二值化(大于epsilon为1,小于等于epsilon为0):

from sklearn.preprocessing import Binarizer
data = Binarizer(threshold = epsilon).fit_transform(data)

类别型特征转换为数值型特征:

实际上就是保留数值型特征,并将不同的类别转换为哑变量(独热编码),可参考:python中DictVectorizer的使用

from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer(sparse = False)
X_train = vec.fit_transform(X_train.to_dict(orient = 'recoed'))

卡方检验:

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
#选择K个最好的特征，返回选择特征后的数据
skb = SelectKBest(chi2, k = 10).fit(X_train, y_train)
X_train = skb.transform(X_train)
X_test = skb.transform(X_test)

互信息法:

from sklearn.feature_selection import SelectKBest
from minepy import MINE

#由于MINE的设计不是函数式的，定义mic方法将其为函数式的，返回一个二元组，二元组的第2项设置成固定的P值0.5
def mic(x, y):
m = MINE()
m.compute_score(x, y)
return (m.mic(), 0.5)

#选择K个最好的特征，返回特征选择后的数据
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

主成分分析(PCA):

from sklearn.decomposition import PCA
estimator = PCA(n_components=2)#几个主成分
X_pca = estimator.fit_transform(X_data)

学习算法:

划分训练集和测试集:

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 33)

训练:

from sklearn import LearnAlgorithm#导入对应的学习算法包
la = LearnAlgorithm()
la.fit(X_train, y_train)
y_predict = la.predict(x_test)

随机梯度下降法(SGD):

from sklearn.linear_model import SGDClassifier
sgd = SGDClassifier()
from sklearn.linear_model import SGDRegressor
sgd = SGDRegressor(loss='squared_loss', penalty=None, random_state=42)

支持向量机(SVM):

支持向量分类(SVC):

from sklearn.svm import SVC
svc_linear = SVC(kernel='linear')#线性核,可以选用不同的核

支持向量回归(SVR):

from sklearn.svm import SVR
svr_linear = SVR(kernel='linear')#线性核,可以选用不同的核如poly,rbf

朴素贝叶斯(NaiveBayes):

from sklearn.naive_bayes import MultinomialNB
mnb = MultinomialNB()

决策树(DecisionTreeClassifier):

from sklearn.tree import DecisionTreeClassifier
dtc = DecisionTreeClassifier(criterion='entropy', max_depth=3, min_samples_leaf=5)#最大深度和最小样本数,用于防止过拟合

随机森林(RandomForestClassifier):

from sklearn.ensemble import RandomForestClassifier
rfc = RandomForestClassifier(max_depth=3, min_samples_leaf=5)

梯度提升树(GBDT):

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(max_depth=3, min_samples_leaf=5)

极限回归森林(ExtraTreesRegressor):

from sklearn.ensemble import ExtraTreesRegressor()
etr = ExtraTreesRegressor()

评估:

from sklearn import metrics
accuracy_rate = metrics.accuracy_score(y_test, y_predict)
metrics.classification_report(y_test, y_predict, target_names = data.target_names)#可以获取准确率,召回率等数据

K折交叉检验:

from sklearn.cross_validation import cross_val_score,KFold
cv = KFold(len(y), K, shuffle=True, random_state = 0)
scores = cross_val_score(clf, X, y, cv = cv)

或

from sklearn.cross_validation import cross_val_score
scores = cross_val_score(dt, X_train, y_train, cv = K)

注意这里的X,y需要为ndarray类型,如果是DataFrame则需要用df.values和df.values.flatten()转化

Pipeline机制:

pipeline机制实现了对全部步骤的流式化封装和管理,应用于参数集在数据集上的重复使用.Pipeline对象接受二元tuple构成的list,第一个元素为自定义名称,第二个元素为sklearn中的transformer或estimator,即处理特征和用于学习的方法.以朴素贝叶斯为例,根据处理特征的不同方法有以下代码:

clf_1 = Pipeline([('count_vec', CountVectorizer()), ('mnb', MultinomialNB())])
clf_2 = Pipeline([('hash_vec', HashingVectorizer(non_negative=True)), ('mnb', MultinomialNB())])
clf_3 = Pipeline([('tfidf_vec', TfidfVectorizer()), ('mnb', MultinomialNB())])

特征选择:

from sklearn import feature_selection
fs =  feature_selection.SelectPercentile(feature_selection.chi2, percentile=per)
X_train_fs = fs.fit_transform(X_train, y_train)

我们以特征选择和5折交叉检验为例,实现一个完整的参数选择过程:

from sklearn import feature_selection
from sklearn.cross_validation import cross_val_score
percentiles = range(1,100)
results= []
for i in percentiles:fs =  feature_selection.SelectPercentile(feature_selection.chi2, percentile=i)X_train_fs = fs.fit_transform(X_train, y_train)scores = cross_val_score(dt, X_train_fs, y_train, cv = 5)results = np.append(results, scores.mean())

opt = np.where(results == results.max())[0]
fs = feature_selection.SelectPercentile(feature_selection.chi2, percentile=opt)
X_train_fs = fs.fit_transform(X_train, y_train)
dt.fit(X_train_fs, y_train)
y_predict = dt.predict(x_test)

超参数:

超参数指机器学习模型里的框架参数,在竞赛和工程中都非常重要

集成学习(Ensemble Learning):

通过对多个模型融合以提升整体性能,如随机森林,XGBoost,参考下文:

Ensemble Learning-模型融合-Python实现

多线程网格搜索:

用于寻找最优参数,可参考下文:

Sklearn-GridSearchCV网格搜索

from sklearn.cross_validation import train_test_split
from sklearn.grid_search import GridSearchCV
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25, random_state=33)

from sklearn.svm import SVC
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline

clf = Pipeline([(‘vect’, TfidfVectorizer(stop_words=‘english’, analyzer=‘word’)), (‘svc’, SVC())])

parameters = {‘svc__gamma’: np.logspace(-2, 1, 4), ‘svc__C’: np.logspace(-1, 1, 3)}

gs = GridSearchCV(clf, parameters, verbose=2, refit=True, cv=3, n_jobs=-1)

%time =gs.fit(X_train, y_train)
gs.best_params, gs.best_score_
print gs.score(X_test, y_test)

回到顶部

七:Kaggle

学习完以上内容后,可以参考下文,已经可以完成一些较为简单的kaggle contest了

机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

橡胶沥青非固化喷涂机大型溶胶机智能恒温快速热熔均匀喷涂
非固化热熔喷涂机可用于楼顶、隧道、屋面、地下室、地下车库、游泳池、小面积工地等工程。非固化材料如非固化沥青、高温沥青等防水工程。喷涂施工作业在应用时配备加热棒或者熔胶机进行使用，若是工程量小可配备3-4个加热棒；若是工程量大需要配备熔胶机先…...
2024/4/24 22:11:55
systemctl start docker Job for docker.service failed because the control process exited with error
1、docker安装完启动失败 [roottbase1 ~]# systemctl start docker Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details. [roottbase1 ~]# […...
2024/4/9 4:23:27
听说做程序员年入百万，能不能带带你表弟？
在脉脉上看到这样一份帖子：一位程序员的二姨听说程序员一年能挣100万，希望让程序员将自己的儿子弄到他们公司去。二姨：阳阳，听说你们程序员一年能挣100万啊，能不能把你弟弟招过去？ 程序员：&a…...
2024/5/3 8:04:20
智能型可见激光对射，不仅仅是好对光
在艾礼安近期持续攀升的业绩中，激光对射系列产品贡献不小，成为公司业绩快速增长的有力支撑。激光对射在应用中具备稳定性好、抗干扰能力强、环境适应性好等优势，在大中型周界防范应用中尤其是监狱、机场、石油石化基地、军队、企业园区等领域…...
2024/4/23 20:01:47
【北京迅为】瑞芯微系列RK3399六核服务器级开发板接口介绍
迅为 iTOP-RK3399 开发板基于瑞芯微公司的 RK3399 六核处理器设计，Cortex-A72 架构； GPU Mali-T860 MP4 支持 4K H.265/H.264 视频解码；Android 系统全开源；核心板与底板结构, 产品开发更轻松。底板板载 4G 全网通、双频 WIFI、千…...
2024/4/9 3:55:05
《30天自制操作系统》---第一天
《30天自制操作系统》---第一天二进制编译与文本编译器大家用自己顺手的就可以，今天通过两种方法运行虚拟机，第一种通过作者提供的工具运行在QEMU中，第二种方法运行到VMWare中，直接上效果图。（将"hello&#xf…...
2024/4/9 3:55:03
FIL是泡沫？比特币将迎来新的突破
每一段时间都会有个比较“好”的币种。六七月份是link，现在是FIL，FIL出现时可算是牛皮怪，直接上升到220美元，可以说大量的币友都看向的他，甚至被人说成能够替代比特币的新币种，而现在那FIL直接降落到来25美…...
2024/4/9 4:23:25
Surprise | 上海国际区块链周，Acala 与你不见不散
围绕着区块链技术创新、区块链场景应用探索为主题而设的上海区块链周是目前国内最优质的区块链系列线下活动之一。金秋 10 月也将再次吸引几千名全球顶级机构、开发人员、创作者与投资者的目光，将是你不可错过的 2020 科技盛宴。本文将整合所有 Acala 即将出席的活…...
2024/4/9 4:23:24
07Cr17Ni7Al耐腐蚀性能
07Cr17Ni7Al/UNS S17700/AISI 631 是以18-8CrNi为基础发展起来的奥氏体-马氏体沉淀硬化不锈钢，又称为控制相变不锈钢。固溶处理后为不稳定的奥氏体组织，有良好的塑韧性和加工性，经过调整，使奥氏体析出碳化物候成分发生变化&#…...
2024/4/9 4:23:23
Unity笔记之Rpg
unity笔记在制作游戏时对于有背包需求的角色时我们一般会检测按键来完成背包打开和关闭。我们一般需要检测开检测关所以需要一个单独的OpenBag的类需要哟个bool来判断背包是否开启或者关闭 public bool isOpen; void OpenBag() { if（Input.GetkeyDown(KeyCod…...
2024/4/27 7:32:18
服务器配置填坑 wget: unable to resolve host address解决方法，最终成功
项目上线，手续要配置服务器，甲方机房在单位内，无法使用公司云服务器。于是配置坑来了配环境下载包，ubutun 16显示如下错误： wget: unable to resolve host address wget：无法解析主机地址。这就能看出是…...
2024/4/9 4:23:21
python3 中可变类型和不可变类型
可变类型 list dict set 可变参数是引用传递：比如像列表，字典这样的对象是通过引用传递、和C语言里面的用指针传递数组很相似，可变对象能在函数内部改变。可变对象，该对象所指向的内存中的值可以被改变。变量（准确…...
2024/4/9 4:23:20
学习笔记-Numpy基础
使用np.arrange()创建数组采用np.arange()函数来产生一维数组，其中括号里可以选择1个或2个或3个参数。 # 一个参数参数值为终点，起点取默认值0，步长取默认值1 x np.arange(5) # 两个参数第一个参数为起点，第二个参数为终点&…...
2024/4/22 13:26:14
草创文化传播网络策划最大服务机构
大数据浪潮滚滚而来，营销宣传成为企业长期发展的关键，而互联网营销渠道突破了传统营销渠道的界限，为营销渠道注入了新鲜血液。从传播的角度来讲，老媒体的优势在持续褪减，主要还是受众群体的关注点在转移，所…...
2024/4/9 4:23:18
Clickhouse centos7安装
操作系统是CentOS7 安装先确保安装了curl，没有的话，安装一下 sudo yum install -y curl添加clickhouse源 curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash由于网络原因，可能会失败&…...
2024/4/9 4:23:18
Pytorch常用的交叉熵损失函数CrossEntropyLoss()的解读
引言在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这个函数：nn.CrossEntropyLoss() 该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中&…...
2024/4/23 17:26:57
深入浅出MFC
深入浅出MFC...
2024/4/9 4:23:15
括号生成
题目链接：括号生成题目描述： 数字 n 代表生成括号的对数，请你设计一个函数，用于能够生成所有可能的并且有效的括号组合。示例： 输入：n 3 输出：[ “((()))”, “(()())”, “(())()”, …...
2024/4/17 8:07:41
MongoDB集群之复制集搭建
简介一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，是生产部署的基础。目的保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因…...
2024/4/9 4:23:13
macOS Mojave（软件篇）：Google Chrome for Mac 快捷键大全
会快捷键者，得天下目录 1. 标签页和窗口快捷键 2. Chrome 浏览器功能快捷键 3. 地址栏快捷键 4. 网页快捷键 5. 文本快捷键 1. 标签页和窗口快捷键 ⌘-N打开新窗口。⌘-T打开新标签页。⌘-Shift-N在隐身模式下打开新窗口。按 ⌘-O，然后选择文件。…...
2024/4/8 16:19:41

kaggle 相关只是基础

一:安装Anaconda

二:Jupyter Notebook

三:Numpy

四:Matplotlib

五:Pandas

六:Scikit-learn

七:Kaggle

相关文章

最新文章