UA STAT687 线性模型理论I 线性模型概述

• 线性回归
• One-way ANOVA
• Two-way ANOVA
• • Nested Design
  • Cross Design
• ANCOVA

线性模型是统计中一类模型的总称，包括线性回归模型、ANOVA模型、线性时间序列模型等，因此线性模型理论研究的是这一类模型共同的性质。称解释变量$X$与被解释变量$y$之间满足
$$y=Xb+e$$

的模型为线性模型，其中$b$与$X,y$无关，$e$是随机误差。

第I部分介绍一些常见的线性模型，这些模型在UA MATH571A与UA MATH571B这两个系列中都分别介绍过，只是这里再综合一下，让大家对线性模型具体指哪一类模型有一个总览性的认识，并且掌握用矩阵来描述分量形式表示的模型。

线性回归

$X$是一个$N\times k$的矩阵，表示解释变量，每$n$行表示第$n$组样本，每$k$列表示第$k$个解释变量的所有样本；$y$是$N$维列向量，表示被解释变量的所有样本，线性回归模型可以表示为：
$$y=X\beta +e$$

其中$e$表示随机误差，通常假设$Ee=0,Cov(e)={\sigma }^2{I}_N$（Gauss-Markov假设）；另外，线性回归中的线性具体指的是$\beta$关于$y$是线性的。线性回归模型要写成矩阵的形式是非常直观的。

One-way ANOVA

考虑一般情况，不平衡的RCD：
$$y_{ij}=\mu +{\alpha }_i+e_{ij},i=1,\cdots ,a;j=1,\cdots ,n_i$$

这个模型可以改写成

需要注意的是$y$与$e$是一个二阶的array，改写成矩阵的时候写成一个列向量，排序方式是先$i$后$j$。${\alpha }_i$表示treatment factor第$i$个factor level的treatment effect，它与$y_{i.}$以及${\text{1}}_{n_i}$对应。$\text{1}$填充的位置表示对应位置的response由哪些effect构成。

Two-way ANOVA

Nested Design

假设有两个factor $X,Y$，$Y$嵌套在$X$中：$X$的取值为$F,P$，$Y$的取值为$A,B,D,E,M$，其中$D,M$嵌套在$F$中，$A,B,E$嵌套在$P$中，则模型可以写为
$$y_{XYk}=\mu +{\alpha }_X+{\beta }_{Y(X)}+e_{XYk}$$

改写成矩阵为：

Cross Design

考虑模型
$$y_{ijk}=\mu +{\alpha }_i+{\beta }_j+e_{ijk},i=1,\cdots ,a,j=1,\cdots ,b$$

改写为矩阵：

ANCOVA

在RCD中，如果试验单位存在重要的covariate时，可以用ANCOVA，把covariate也加入到模型中，与One-way ANOVA，模型要修正为
$$y_{ij}=\mu +{\alpha }_i+\beta x_{ij}+e_{ij},i=1,\cdots ,a;j=1,\cdots ,n_i$$

改写成矩阵：

总结

以上是生活随笔为你收集整理的UA STAT687 线性模型理论I 线性模型概述的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。