简单线性回归理论分析

回归分析概念

回归分析说研究一个被解释变量（因变量）和一个或多个解释变量（自变量）之间的统计技术。回归分析的意义在于通过重复抽样获得的解释变量的一直或设定值来估计或者预测被解释变量的总体均值。

与回归分析有密切相关的另外一种技术是相关分析，但是两者差距比较大。相关分析是用来测量变量之间线性关联程度的一种方法。回归分析更多的是通过解释变量的设定值来估计或者预测因变量的平均水平。

回归分析中，因变量是统计的、随机的，有一个概率分布。而解释变量（自变量）则是不认为有特定分布的规定值。大部分相关理论建立在变量的随机性假设上，而回归理论往往假设解释变量是固定的而非随机的。

回归分析理论

回归函数

非随机的总体回归方程

在总体中，假设总体回归直线是线性的，可以用模型来描述非随机的总体回归方程
$$E(y|x_i)={\omega }_0+{\omega }_1{x}_i$$其中 $E(y|x_i)$ 是指在 $x$ 取特定值 $x_i$ 时， $y$ 取值的期望。其中 ${\omega }_0$ 是截距 ${\omega }_1$ 是斜率。斜率度量了x每变动一个单位，y的均值变化率。通常 $E(y|x)$ 简写成 $E(y)$ 。

随机总体回归方程

如果把随机干扰考虑进去，就能够反映总体的每个y的取值
$$y_i=E(y)+e_i={\omega }_0+{\omega }_1{x}_i+u_i$$这个方程为随机总体回归方程，意思是，总体中的随机样本的回归方程表示，考虑到了随机干扰。其中 $E(y)$ 是系统的（非随机的）部分，$u_i$ 是非系统的（随机的）部分，代表了模型中并未包含变量的影响。（对于建立的模型，即使知道其他变量可能对因变量有影响，也倾向于将这些次要因素归入随机误差项 $u_i$ 中）

样本的回归函数

对于样本中的抽样，可以使用样本数据计算 ${\hat{\omega }}_0,{\hat{\omega }}_1$ ,则样本中的样本非随机回归函数，其中 $\hat y $ 表示根据样本回归函数计算出的 $x_i$ 对应值的期望：
$$\hat{y}={\hat{\omega }}_0+{\hat{\omega }}_1{x}_i$$随机样本的回归函数，其中 $y_i$ 是样本中随机样本的 $y_i$ 表示。
$$y_i={\hat{\omega }}_0+{\hat{\omega }}_1{x}_i+e_i$$样本只是总体的一随机取样的一部分，首先研究样本的各种参数，然后根据样本的参数分布或规律来研究总体参数的置信区间。

求解样本的回归参数

其中 $e_i=y_i-{\hat{y}}_i=y_i-{\hat{\omega }}_0-{\hat{\omega }}_1{x}_i$ 被称为残差，是样本中，估计值和实际值的差值，衡量一个回归实现是否是最佳回归直线的方法的一个思路是调整 $\sum e_i^2$ 使其最小，进而求出 $\hat{\omega }$ 。其中 $\sum e_i^2$ 可以认为是损失函数：
$$min\sum e_i^2=\sum (y_i-\hat{y}{)}^2=\sum (y_i-{\hat{\omega }}_0-{\hat{\omega }}_1{x}_i{)}^2$$利用这个函数关系求解的思路有很多，例如利用 ${\hat{\omega }}_i$ 的偏导数为零构建方程组。例如，利用韦达定理，在 $-\frac{b}{2a}$ 处求得最小值。或者从向量角度出发。但是最常见的方法是最小二乘法求解正规方程组。来求的使损失函数最小的 ${\hat{\omega }}_i$ 使得直线 $y={\hat{\omega }}_0+{\hat{\omega }}_{1}x$ 是最佳回归直线。

理解：
当然这只是根据最小二乘法来求得使 $\sum e_i^2$ 最小的 ${\hat{\omega }}_i$ 的值，目的是求得一个直线函数，这个直线使残差和最小。
值得注意⚠️的是，不管自变量和因变量的分布是如何对应，是不是直线回归，都可以得到一个这样的样本回归函数。但是这个函数能否准确评估应变量和自变量的关系，样本预估出来的参数 ${\hat{\omega }}_i$ 到底能不能比较准确地代表总体参数的 ${\omega }_i$ ，回归函数对因变量预测的如何，自变量和因变量之间构建直线回归是否合适，需要后面的一步步验证。

经典模型的基本假定

若要进行线性回归的估计和计算，首先要进行一系列的假定，检查数据是否满足线性回归的要求。若要进行线性回归计算，需要满足以下假定：

• 零均值假定

  • 在利用最小二乘法进行求解的时候有对残差 $e_i$ 零均值的假定，因此对回归参数最小二乘法求解需要进行零均值假定
  • 如果模型设定准确，则 $y_i$ 应该相对于 $E(\hat{y})$ 有正偏差也有负偏差，平局来看应该相互抵消
  • 对于不太适合用直线拟合的数据，可能会出现比较大的偏差，例如需要用曲线拟合的数据，（但是零均值对于方差不敏感）

• 同方差假定

  • 对于同随机干扰 $u_i$ ,不难证明， $y_i$ 与 $u_i$ 有相同的方差。不同 $x_i$ 下应该有相同的方差。
  • 零均值对方差不敏感，因此需要有方差假定。对于随着 $x_i$ 水平升高而 $u_i$ 也升高对数据可能需要进行转换使方差相齐。

  理解：
  在后面的模型检验中，需要用到 $u_i,e_i$ 是正态分布

• 相互独立性

• 因变量与自变量之间满足线性关系

R语言下检查数据特性

可以直接使用plot(lm.obj)来查看数据统计情况。代码：

cars.lm<- lm(lp~mass.kg,data=cars)
par(mfrow=c(2,2))
plot(car.lm)

对于展示出来的四张图：

1. 残差VS拟合值（ $\hat{y}VS{e}_i$ ）
   零均值：如果残差大致均匀分布在0线上下，即可认为是满足零均值。
   同方差：也能大概看是否方差异常，同方差应该残差不随估计值的增加、减小而分布区域明显改变
   异常值：是否有残差比较大的，尤其是 $\hat{y}$ 比较极端处的高残差往往是高杠杆的异常点。
2. QQ图
   可以认为是和正态分布数据映射关系，用来检测数据是否具有正态性，是否有比较明显的偏态。可以认为点在横坐标投影是标准正态分布的，在纵坐标投影是当前数据的分布，如果两个数据是有相似的分布，则数据应该集中在对角线上
   正态性：如果数据满足正态性，数据应该集中在对角线，如果数据有偏态性，例如左偏态，则QQ图会下凹。如果右偏态会上凸。
3. 拟合值 VS 标准化残差平方根
   可以认为，既然残差是属于正态分布，利用z检验，查看那些高残差是否是超出一定界限，如果超出界限，这个残差应该是比较罕见的。一般超出1.5或1.6在样本数不多的情况下是异常的。
4. 杠杆 VS 标准化残差
   可以在图中查看异常值，对于高杠杆而又高残差的点，可以考虑删除。
   杠杆值是用来评估第 i 个观测值（x）离其余 n-1 个观测值的距离有多远。杠杆值的计算：
   $$h_{ii}=\frac{1}{n}+\frac{(x_i-\bar{x}{)}^2}{\sum (x_i-\bar{x}{)}^2}$$

总体方差的无偏估计

无偏估计：用样本统计量来估计总体参数的一种无偏差推断。估计量的数学期望等于被估计参数的真实值（但是估计量的数学分布不一定是什么类型）。
**注意⚠️：**无偏估计量的数学期望等于真实值，并不是一次抽样的无偏估计量等于真实值，真实值的置信区间往往需要根据一个样本的无偏估计量和分布来估计。

可以证明，对于总体数据的误差 $u_i^2$ 的无偏估计量是样本量为n的样本数据的 $\frac{e_i^2}{n-2}$ 即
$$E(\sum e_i^2)=(n-2){\sigma }^2$$$${\hat{\sigma }}^2=\frac{\sum e_i^2}{n-2}=\frac{\sum (y_i-{\hat{y}}_i{)}^2}{n-2}$$

样本估计参数的概率分布 @ t检验

在样本中，已经计算出来了样本估计参数 ${\omega }_i$ 但是要想对总体参数进行点估计，需要知道样本参数的概率分布情况。
正如在抽样样本中， $\bar{x}$ 与 $\mu$ 的分布关系，样本的大小会影响样本 $\bar{x}$ 的分布。在抽样样本中，样本回归系数 ${\hat{\omega }}_i$ 和总体回归系数 ${\omega }_i$ 也有一个分布关系，只不过，样本回归系数 ${\hat{\omega }}_i$ 不止和样本数n有关，还和其他诸多因素有关，经过计算推算可得样本回归系数 ${\hat{\omega }}_i$ 的概率分布，对于简单线性回归，参数服从正态分布：
$$\hat{\omega }\sim N({\omega }_0,{\sigma }^2\frac{\sum x_i^2}{n\sum (x_i-\bar{x}{)}^2})$$$${\hat{\omega }}_1\sim N({\omega }_1,\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2})$$

理解：
样本的估计参数的概率分布来看，参数的标准差和哪些因素有关？

1. 误差项/残差 $e_i$ 的方差越大则 ${\omega }_1$ 概率分布的标准差越大
2. 观测值 $x_i$ 的变异越大，则更能体现Y与X的关系，则${\omega }_1$ 概率分布的标准差越小
3. 样本数n越大， $se({\omega }_1)$ 越小？

有了样本估计参数的概率分布，就可以求得总体参数的置信区间，相当于用已知分布的点估计。

R语言下的总体参数置信区间估计

可以通过使用summary(lm.obj)来进行整体展示，其中的 Coefficients中的 Std.Error 即样本估计参数的标准差，可以根据标准差计算总体的置信区间。或者直接使用代码confint(lm.obj)来进行查看。值得注意的是，在简单线性回归中， 如果 ${\omega }_1$ 的95%置信区间不包含0，即可认为斜率参数是可信的？

拟合优度检验 @ 方差分析

对于回归函数，已经可以得到相对比较准确的回归参数了。但是针对这个模型拟合度到底如何仍然没有很直观的感受。此时可以使用方差分析来检验回归分析是否成立。首先明确以下内容：

• ${\hat{Y}}_i$ ：样本回归曲线预测值的期望
• $Y_i$：样本观测到的真实值
• $\bar{Y}$：样本观测值的均值
• $Y_i-\bar{Y}$ ：真实值和均值的差距，总离差，总的样本变异
• ${\hat{Y}}_i-\bar{Y}$ ：对于样本变异能被回归直线解释的部分
• $Y_i-{\hat{Y}}_i$：残差 $e_i$ ，样本变异中，不能被回归直线解释的部分

其中不难发现，总离差=回归解释+残差：$Y_i-\bar{Y}={\hat{Y}}_i-\bar{Y}+Y_i-{\hat{Y}}_i$。所以有等式： $$\sum (y_i-\bar{y}{)}^2=\sum [({\hat{y}}_i-\bar{y})+(y_i-{\hat{y}}_i){]}^2$$这个等式通过等价转换并利用 $e_i$ 有零均值假定（ $\sum e_i=0$ ） 可以得到以下：$$\sum (y_i-\bar{y}{)}^2=\sum (y_i-{\hat{y}}_i{)}^2+\sum ({\hat{y}}_i-\bar{y}{)}^2$$其中：

• $\sum (y_i-\bar{y}{)}^2$ ：SST，总离均差平方和
• $\sum (y_i-{\hat{y}}_i{)}^2$ ：SSE，残差平方和
• $\sum ({\hat{y}}_i-\bar{y}{)}^2$ ：SSR，回归平方和

有以下关系：SST = SSE + SSR（这一公式也是ANOVA的原理）。其中，总离差平方和中，如果回归平方和的比例越大，残差平方和所占比例就越小，表示回归直线与样本点的拟合效果很好；反之则表示拟合效果不好。为了评价这种拟合效果，有一个判定系数：$$R^2=\frac{SSR}{SST}$$其中 $R^2$ 即为判定系数。判定系数是一个回归直线与样本观察值拟合优度的数量指标， $R^2$越大则拟合优度越好。

个人理解：
在最小二乘法中，隐藏着可以使等式SST = SSE + SSR成立的条件，也就是说，当使用最小二乘法求解的时候，总有SST = SSE + SSR成立。
例如若 $R^2=0.3$ 则说明回归平方和能解释样本总变异平方和中的30%。即回归平方和占总离均差平方和的30%。
从公式可以看出 $R^2$ 受极值影响严重，而且机值的差异会被平方放大。

调整 $R^2$

$R^2$ 越接近1，模型拟合优度越高。但是在现实中发现，如果在模型中新添加一个解释变量， $R^2$ 往往会增大，这就导致无限增加解释变量就可以不断增加 $R^2$ 的局面。但是实际情况是，由增加解释变量个数引起的 $R^2$ 增大与拟合好坏无关。因此，比较自然的想法是用调整 判定系数 ${\bar{R}}^2$ 或者 $R_{adj}^2$ 来代替 $R^2$ ，以剔除变量个数对拟合优度的影响。$$R_{adj}^2=1-\frac{SSR/(n-k-1)}{SST/(n-1)}$$其中 $n-k-1$ 是残差平方和的自由度， $n-1$ 是总体平方和的自由度。

问题
解释变量个数不同时候，如何比较不同模型的拟合优度？
可以利用赤池信息和施瓦茨准则。

整体性假定检验

针对简单线性回归，上述是针对单个回归系数 ${\omega }_i=0$ 进行的检验。如果要判断因变量和自变量的线性关系是否显著，即判断所有回归系数中，至少有一个不等于0。则此时可以使用F检验来检验回归模型。其实可以用F检验来检验模型某个回归系数是否为0。F检验是比t检验更一般的统计检验。
F检验的零假设认为，回归方程解释的方差是出于偶然性。而F检验证实用来检验由备择假设解释的方差时候是出于偶然性。这里的偶然性程度是用MSE（误差均方）来衡量。F检验通常大于1，F越大于1则零假设越不可能为真。
在 $H_0$ 成立的前提下，F统计量：
$$F=\frac{\sum (y_i-\bar{y}{)}^2/k}{(\sum e_i^2)/(n-k-1)}$$

注意 ⚠️：
一元线性模型中对模型进行整体性检验只用t检验即可。但是在多远线性回归模型中，F检验是检验统计假设的非常有用和有效的方法。

还有一件事，要缔结契约吗？

我想建立并管理一个高质量的生信&统计相关的微信讨论群，如果你想参与讨论，可以添加我微信： veryqun 。我会拉你进群，当然有问题也可以微信咨询我。

因为我的笔记分布CSDN、简书、知乎专栏等比较零散，管理起来比较麻烦，思考再三申请了一个 微信公众号，会更加方便地发布更多有关生信息、统计方面内容，如果你觉得有需要可以尝试性和我缔结契约 ^ . ^ 。公众号如下：