线性模型利用输入特征的 线性函数（linear function）进行预测

1. 用于回归的线性模型

对于回归问题，线性模型预测的一般公式如下：
$$\hat{y}=w[0]\ast x[0]+w[1]\ast x[1]+\cdots +w[p]\ast x[p]+b$$
这里$x[0]$到$x[p]$表示单个数据点的特征，$w$和$b$是学习模型的参数，$\hat{y}$是模型预测结果。
对于单一特征的数据集，公式如下：
$$\hat{y}=w[0]\ast x[0]+b$$
你可能还记得，这就是高中数学里的直线方程。这里$w[0]$是斜率，$b$是y轴偏移。对于有更多特征的数据集，$w$包含沿每个特征坐标轴的斜率。或者，你也可以将预测的响应值看作输入特征的加权求和，权重由$w$的元素给出（可以取负值）。

下列代码可以在一维wave数据集上学习参数$w[0]$和$b$：

import matplotlib.pyplot as plt
import mglearn as mglearn
mglearn.plots.plot_linear_regression_wave()
plt.show()-----------------------w[0]: 0.393906  b: -0.031804

我们在图中添加了坐标网格，便于理解直线的含义。

• 从$w[0]$可以看出，斜率应该在0.4左右，在图像中也可以直观地确认这一点。
• 截距是指预测直线与y轴的交点：比0略小，也可以在图像中确认。

用于回归的线性模型可以表示为这样的回归模型：

• 对单一特征的预测结果是一条直线
• 两个特征时是一个平面
• 在更高维度（即更多特征）时是一个超平面。

如果将直线预测结果与k近邻-wave图像比较，你会发现直线的预测能力非常受限。似乎数据的所有细节都丢失了。从某种意义上来说，这种说法是正确的。
假设目标$y$是特征的线性组合，这是一个非常强的（也有点不现实的）假设。但观察一维数据得出的观点有些片面。
对于有多个特征的数据集而言，线性模型可以非常强大。特别地，如果特征数量大于训练数据点的数量，任何目标$y$都可以（在训练集上）用线性函数完美拟合。
有许多不同的线性回归模型。这些模型之间的区别在于如何从训练数据中学习参数$w$和$b$，以及如何控制模型复杂度。

2. 线性回归（普通最小二乘法）

LinearRegression拟合一个带有系数 $w=(w_1,...,w_p)$ 的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为::
$$\underset{w}{\min }{||Xw-y|{|}_2}^2$$

---

LinearRegression 会调用 fit方法来拟合数组$X，y$，并且将线性模型的系数$ w $存储在其成员变量coef_ 中:

>>>from sklearn import linear_model
>>>reg = linear_model.LinearRegression()
>>>reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
>>>reg.coef_
array([ 0.5,  0.5])

然而，对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。当各项是相关的，且设计矩阵$ X $的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。

---

普通最小二乘法复杂度:
该方法使用 $X$ 的奇异值分解来计算最小二乘解。如果$X$是一个$size$为 $(n,p)$ 的矩阵，设 $n\ge p$ ，则该方法的复杂度为$O(n{p}^2)$

---

线性回归，或者普通最小二乘法（ordinary least squares, OLS），是回归问题最简单也最经典的线性方法。
线性回归寻找参数$w$和$b$，使得对训练集的预测值与真实的回归目标值y之间的均方误差最小。
均方误差（mean squared error）是预测值与真实值之差的平方和除以样本数。
线性回归没有参数，这是一个优点，但也因此无法控制模型的复杂度。

构建模型，“斜率”参数（w，也叫作权重或系数）被保存在coef_属性中，而偏移或截距（b）被保存在intercept_属性中：

from sklearn.linear_model import LinearRegression
import mglearn as mglearn
from sklearn.model_selection import train_test_splitX, y = mglearn.datasets.make_wave(n_samples=60)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)lr = LinearRegression().fit(X_train,y_train)# 斜率参数（w，也叫权重或系数）被保存在coef_属性中
# 偏移或截距（b）被保存在intercept_属性中
print("lr.coef: {}".format(lr.coef_))
print("lr.intercept: {}".format(lr.intercept_))--------------------------------------lr.coef: [0.39390555]
lr.intercept: -0.031804343026759746

scikit-learn总是将从训练数据中得出的值保存在以下划线结尾的属性中。这是为了将其与用户设置的参数区分开。

intercept_属性是一个浮点数，而coef_属性是一个NumPy数组，每个元素对应一个输入特征。由于wave数据集中只有一个输入特征，所以lr.coef_中只有一个元素。

看一下训练集和测试集的性能：

# 训练集和测试集的性能
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))-----------------------------------
Training set score: 0.67
Test set score: 0.66

$R^2$约为0.66，这个结果不是很好，但我们可以看到，训练集和测试集上的分数非常接近。这说明可能存在欠拟合，而不是过拟合。
对于这个一维数据集来说，过拟合的风险很小，因为模型非常简单（或受限）。然而，对于更高维的数据集（即有大量特征的数据集），线性模型将变得更加强大，过拟合的可能性也会变大。

---

看一下LinearRegression在更复杂的数据集上的表现，比如波士顿房价数据集。
记住，这个数据集有506个样本和105个导出特征。
首先，加载数据集并将其分为训练集和测试集。然后像前面一样构建线性回归模型：

import mglearn as mglearn
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegressionX, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
lr = LinearRegression().fit(X_train, y_train)# 训练集和测试集的性能
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))=================================================Training set score: 0.95
Test set score: 0.61

可以看出在训练集上的预测非常准确，但测试集上的$R^2$要低很多

训练集和测试集之间的性能差异是过拟合的明显标志，因此我们应该试图找到一个可以控制复杂度的模型。标准线性回归最常用的替代方法之一就是岭回归（ridge regression）