分类与预测

主要分类与预测算法

回归分析 确定预测值与其他变量关系。线性、非线性、Logistic、岭回归、主成分回归等

决策树 自顶向下分类

人工神经网络 用神经网络表示输入与输出之间的关系

贝叶斯网络 又称信度网络，是不确定知识表达和推理领域最有效的理论模型之一

支持向量机 将低维非线性可分转化为高维线性可分进行分析

主要回归模型分类

线性回归 因/自变量是线性关系 对一个或多个自/因变量线性建模，用最小二乘法求系数

非线性回归 因/自变量是非线性 非线性建模

Logistic回归 因变量为0或1 广义线性回归特例，利用Logistic函数将因变量控制0-1内表示取值为1的概率

岭回归 参与建模的自变量间具有多重共线性 改进的最小二乘法

主成分回归 同上 根据PCA提出，是参数估计的一种有偏估计

逻辑回归——Scikit-Learn

决策树——sklearn.tree；输出一个tree.dot文件，许安装Graphviz进行可视化

人工神经网络——keras

BP神经网络 信息正传播，误差逆传播

LM神经网络 给予梯度下降法和牛顿法的多层前馈神经网络，迭代次数少，收敛块，精度高

RBF径向基神经网络 能以任意精度逼近任意连续函数，输入层-隐含层是非线性，隐含层-输出成是线性，特别适合解决分类问题

FNN模糊神经网络 具有模糊权系数或输入信号是模糊两的神经网络，汇聚NN和模糊系统的有点

GMDH神经网络 也称多项式网络，网络结构在训练中变化

ANFIS自适应神经网络 NN镶嵌在一个全模糊的结构中，自动产生、修正、高度概括出最佳隶属函数和模糊规则

SVM——sklearn.svm

随机森林——sklearn.ensemble

朴素贝叶斯——sklearn.naive_bayes

建模的第一步都是建立一个空白的对象，然后设置模型参数，利用fit进行巡林啊，最后用predict方法预测结果，之后进行一些评估如score等

误差评价：绝对误差、相对误差、平均绝对误差、均方误差、均方根误差、平均绝对百分误差、Kappa统计、识别准确度、识别精确率、反馈率、ROC曲线、混淆矩阵

聚类分析

常用方法：划分方法、层次分析方法、基于密度的方法、基于网格的方法、给予模型的方法

常用算法：K-Means、K-中心点、系统聚类(多层次聚类)

评价方法：purity评价法(正确的比例)、RI评价法、F值评价法

聚类可视化工具——TSNE

关联规则：也称为购物篮分析，目标是找出各项之间的关系

常用算法：Apriori、FP-Tree、Eclat算法、灰色关联法

时序模式：给定一个已被观测的时间序列，预测该序列的未来值

常用模型：平滑法、趋势你合法、组合模型、AR模型、MA模型、ARMA模型、ARIMA、ARCH、GARCH模型及衍生

python主要时序算法函数：acf自相关，plot_acf画自相关系数图、pacf计算偏相关系数、plot_pacf画偏相关系数图、adfuller对观测值序列进行单位根检验、diff差分计算、ARIMA创建ARIMA时序模型、summary或summaty2给出ARIMA模型报告、aic/bic/hqic计算ARIMA模型的指标值、forecast预测、acorr_ljungbox检验白噪声

离群点检测

成因：数据源不同、自然变异、测量和收集误差

类型：全局离群点和局部离群点；数值型离群点和分类型离群点；一维离群点和多维离群点

检测方法：基于统计、基于邻近度、基于密度、基于聚类