接下来是五种回归(线性模型)

用于回归的线性模型(可以理解为直线方程或者加权求和)

单一预测为一条直线，两个特征为一个平面，以此类推。线性模型对多个特征的数据集而言非常强大！

X, y = mglearn.datasets.make_forge()
mglearn.plots.plot_linear_regression_wave()

1.线性回归(普通最小二乘法)

两个参数w(权重/系数 NumPy数组) in  coef_属性 ,  b(偏移/截距 浮点数) in intercept_属性。寻找这两个参数使得均方误差(预测值与真实值之差的平方和除以样本数)最小。由于此算法没有参数，故无法控制模型复杂度。

from sklearn.linear_model import LinearRegression
X, y = mglearn.datasets.make_wave(n_samples=60)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
lr = LinearRegression().fit(X_train, y_train)
print("lr.coef_: {}".format(lr.coef_))
print("lr.intercept_: {}".format(lr.intercept_))

训练集和测试集的性能，可能存在欠拟合，因为在训练集和测试集的分数很接近。

print("Training set score: {}".format(lr.score(X_train, y_train)))
print("Test set score: {}".format(lr.score(X_test, y_test)))

接下来用更大的数据集去看LinearRegression的表现，会发现在训练集分数较高，测试集低很多。

X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
lr = LinearRegression().fit(X_train, y_train)
print("Training set score: {}".format(lr.score(X_train, y_train)))
print("Test set score: {}".format(lr.score(X_test, y_test)))

小结：

训练集和测试集分数接近：可能是欠拟合    训练集和测试集分数差异：可能是过拟合

2.岭回归(可以控制模型复杂度)