一、算法类型

有监督的回归算法

二、评估指标

残差平⽅和：

平均残差：

预测数据与标签均值之间差值的平⽅和：

实际值和均值之间的差值的平⽅和：

R方：

三、手写Python线性回归算法

1.简单线性回归
（1）损失函数公式

（2）参数w求解公式

（3）手写python算法

# 计算回归系数
def Standard_Regress(dataset):xmat=np.mat(dataset.iloc[:,:-1].values)ymat=np.mat(dataset.iloc[:,-1].values).Txtx=xmat.T*xmatif np.linalg.det(xtx)==0:print('矩阵为奇异矩阵，无法求逆')returnws=xtx.I*(xmat.T*ymat)  #关键的一步，ws的求解公式return ws

（4）实战（调用函数）

2.局部加权线性回归
（1）损失函数公式

（2）参数w求解公式


说明：点越近，权重越大；k越小，大部分样本点的权重都接近0。
注意：wHat与W是不同的，wHat是斜率（截距），W是样本权重。
（3）手写python算法

def LWLR(dataset,newxdata,k=1.0):'''函数功能：计算局部加权线性回归的预测值参数说明:dataset：训练集,带标签，df格式newxdata: 新样本，不带标签，df格式返回：y_re:新样本的标签预测值'''xmat=np.mat(dataset.iloc[:,:-1].values)ymat=np.mat(dataset.iloc[:,-1].values).Tnewxdata=np.mat(newxdata.values)n=xmat.shape[0]           # n个样本weights=np.mat(np.eye(n)) #样本权重，不是斜率m=newxdata.shape[0]          # m个新样本y_pre=np.zeros(m)         for i in range(m):for j in range(n):diff=xmat[j]-newxdata[i]weights[j,j]=np.exp( (diff*diff.T) / ((-2)*(k**2)))xtx=xmat.T * (weights * xmat)         #关键的一步，对样本增加权重if np.linalg.det(xtx)==0:print('矩阵为奇异矩阵，无法求逆')returnws=xtx.I*(xmat.T*(weights*ymat))  #关键的一步，ws在各局部范围是不一样的y_pre[i]=newxdata[i]*wsreturn y_pre

（4）实战（调用函数）

3.Ridge线性回归
（1）损失函数公式

（2）参数w求解公式

说明：当惩罚力度越⼤，模型越不容易受到共线性的影响。
（3）手写python算法

#注:本质上还是构建一条线或一个超平面。所以要求解回归系数。
def Ridge_Regress(dataset,lam=0.2):xmat=np.mat(dataset.iloc[:,:-1].values)ymat=np.mat(dataset.iloc[:,-1].values).Txtx=xmat.T*xmatdenom=xtx+lam*np.eye(xmat.shape[1])ws=denom.I*(xmat.T*ymat)  #关键的一步，ws的求解公式return ws

（4）实战（调用函数）

4.Lasso线性回归
（1）损失函数公式

（2）参数w求解公式

（3）手写python算法

#注:本质上还是构建一条线或一个超平面。所以要求解回归系数。
def Lasso_Regress(dataset,lam=0.2):xmat=np.mat(dataset.iloc[:,:-1].values)ymat=np.mat(dataset.iloc[:,-1].values).Txtx=xmat.T*xmati=np.eye(xmat.shape[1])ws=(xtx.I)*((xmat.T*ymat)-((lam*i)/2))  #关键的一步，ws的求解公式return ws

（4）实战（调用函数）

四、Python调包实现

import statsmodels.api as sm #线性回归与更多解释
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error,r2_score #评估指标
from statsmodels.stats.outliers_influence import variance_inflation_factor #多重共线性判断