UA MATH571A 多元线性回归IV 广义线性模型

• 广义线性模型
• 二值被解释变量
• • Probit模型
  • Logit模型
  • • 系数的最大似然估计
    • 系数的推断
    • • Wald检验
      • 似然比检验
    • 二项回归
• 拟合优度检验
• • Pearson卡方拟合优度检验
  • Deviance拟合优度检验
  • Hosmer-Lemeshow拟合优度检验
• 多值被解释变量

广义线性模型

$Y_1,Y_2,...,Y_N$是服从指数分布族某一分布的被解释变量，并且$E{Y}_i={\mu }_i$，存在某个函数$g$使得解释变量与$g({\mu }_i)$之间具有线性关系
$$g({\mu }_i)=X_i\beta$$
这样的回归模型叫广义线性回归模型。显然当$g({\mu }_i)={\mu }_i$时，回归模型是多元线性回归，当$g$是Logistics函数的反函数时，是Logistics回归。

二值被解释变量

回归模型
$$Y_i=X_i\beta +{ϵ}_i$$
中，有时$Y_i=0,1$，这类解释变量叫二值被解释变量，这种回归可以用来做两分类问题。如果把$Y_i$视为Bernoulli随机变量，则
$$p_i=P(Y_i=1)=E[Y_i]=X_i\hat{\beta }$$
表示的是成功概率。这个模型比较直白，问题也比较多。

残差项不满足正态假设
给定样本时，残差只有两个可能的取值，当$Y_i=0$时，${ϵ}_i=-X_i\hat{\beta }$，当$Y_i=1$时，${ϵ}_i=1-X_i\hat{\beta }$，显然这不服从正态分布。

同方差假设不成立
残差与$Y_i$同分布，${\sigma }^2({ϵ}_i)=-X_i\hat{\beta }(1-X_i\hat{\beta })$，显然与$X_i$有关，同方差假设不成立。

回归方程取值受限
由于拟合值的含义是概率，因此$E[Y_i]=X_i\hat{\beta }\in [0,1]$，否则拟合值无意义。

所以二值被解释变量一般做如下处理。假设$Y_i^c$是一个连续型的变量，但在观测时只取0和1，假设取值的规律为
$$\begin{gathered} Y_i=1,if{Y}_i^c\le Y_0 \\ {Y}_i=0,if{Y}_i^c>Y_0 \end{gathered}$$
则
$$P(Y_i=1)=P(Y_i^c\le Y_0)$$
假设$Y_i^c$满足线性回归模型
$$Y_i^c=X_i\beta +{ϵ}_i,{ϵ}_i\sim N(0,{\sigma }_c^2)$$
则
$$\begin{gathered} P(Y_i=1)=P(Y_i^c\le Y_0)=P(X_i\beta +{ϵ}_i\le Y_0) \\ =P({ϵ}_i\le Y_0-X_i\beta )=P(\frac{{ϵ}_i}{{\sigma }_c}\le \frac{Y_0}{{\sigma }_c}-X_i\frac{\beta }{{\sigma }_c}) \end{gathered}$$

Probit模型

用$\Phi$表示标准正态分布的分布函数，假设
$$P(Y_i=1)=P(\frac{{ϵ}_i}{{\sigma }_c}\le \frac{Y_0}{{\sigma }_c}-X_i\frac{\beta }{{\sigma }_c})=\Phi (X_i{\beta }^{\ast })$$
其中
$$\begin{gathered} {\beta }_0^{\ast }=\frac{Y_0}{{\sigma }_c}-\frac{{\beta }_0}{{\sigma }_c} \\ {\beta }_i^{\ast }=-\frac{{\beta }_i}{{\sigma }_c} \end{gathered}$$
这个模型叫Probit模型。

Logit模型

Logit模型又叫Logistics回归。对于
$$P(Y_i=1)=P(\frac{{ϵ}_i}{{\sigma }_c}\le \frac{Y_0}{{\sigma }_c}-X_i\frac{\beta }{{\sigma }_c})=P(\frac{{ϵ}_i}{{\sigma }_c}\le X_i{\beta }^{\ast })$$
定义
$${ϵ}_L=\frac{\pi }{\sqrt{3}}\frac{{ϵ}_i}{{\sigma }_c},\beta =\frac{\pi }{\sqrt{3}}{\beta }^{\ast }$$
这里的$\frac{\pi }{\sqrt{3}}$没有别的意思，就是随便给的。假设${ϵ}_L$的分布函数为Logistics函数
$$F({ϵ}_L)=\frac{\exp ({ϵ}_L)}{1+\exp ({ϵ}_L)}$$
从而
$$P(Y_i=1)=P(\frac{{ϵ}_i}{{\sigma }_c}\le X_i{\beta }^{\ast })=\frac{\exp (X_i\beta )}{1+\exp (X_i\beta )}=\frac{1}{1+\exp (-X_i\beta )}$$
这个模型就是Logit模型。相比Probit模型，Logit模型的系数更好解释。
$$\exp (X_i\beta )=\frac{P(Y_i=1)}{P(Y_i=0)}⟺X_i\beta =ln(\frac{P(Y_i=1)}{P(Y_i=0)})=ln(od{d}_i)$$
其中$\frac{P(Y_i=1)}{P(Y_i=0)}$叫做输赢比（odd ratio），因此系数的含义是解释变量对对数输赢比的单位影响。
$$\beta =\frac{\partial ln(od{d}_i)}{\partial X_i}$$

系数的最大似然估计

定义$p_i=P(Y_i=1)$，显然$Y_i$服从Bernoulli分布$Ber(p_i)$，因此
$$f(Y_i)=p_i^{Y_i}(1-p_i{)}^{1-Y_i}$$
样本的对数似然函数为
$$\begin{gathered} l(\beta )=\sum _{i=1}^N[Y_{i}ln{p}_i+(1-Y_i)ln(1-p_i)] \\ =\sum _{i=1}^N{Y}_i\ln (\frac{p_i}{1-p_i})+\sum _{i=1}^{N}ln(1-p_i) \end{gathered}$$
其中$p_i$是$\beta$的函数
$$p_i=\frac{1}{1+\exp (-X_i\beta )},1-p_i=\frac{1}{1+\exp (X_i\beta )}$$
$$\ln (\frac{p_i}{1-p_i})=X_i\beta$$
因此
$$l(\beta )=\sum _{i=1}^N{Y}_i{X}_i\beta -\sum _{i=1}^{N}ln(1+\exp (X_i\beta ))$$
这个对数似然函数最大化的解析解没法计算出来，通常考虑数值方法求解，比较常用的是上一篇博文中提到的Iterative Reweighted Least Square.

系数的推断

定义对数似然函数的Hessian Matrix为
$$G=\frac{{\partial }^{2}l(\beta )}{\partial {\beta }^2}$$
则系数最大似然估计的方差估计为
$$s^2(\hat{\beta })=(-G(\hat{\beta }){)}^{-1}$$

Wald检验

在Logistics回归中，对单个系数的检验需要Wald检验。
$$\begin{gathered} H_0:{\beta }_1=0 \\ {H}_a:{\beta }_1\ne 0 \end{gathered}$$
当样本数足够大时，
$$Z=\frac{{\hat{\beta }}_1-{\beta }_1}{s({\hat{\beta }}_1)}\sim N(0,1)$$
因此Wald检验其实是一种Z检验。

似然比检验

似然比检验可以用来对部分或者所有系数进行检验。
$$\begin{gathered} H_0:{\beta }_q={\beta }_{q+1}=...={\beta }_{p-1}=0 \\ {H}_a:notallcoefficientsin{H}_{0}equaltozero \end{gathered}$$
Suppose $L(R)$ to be likelihood of reduced model and $L(F)$ to be likelihood of full model. When sample size is large enough
$$G^2=-ln(\frac{L(R)}{L(F)})\sim {\chi }^2(p-q)$$

二项回归

假设对解释变量的取值$X_j,j=1,2,...,c$做了$n_j$次重复观察，得到的被解释变量的取值为$Y_{ij},j=1,2,...,n_j$，则解释变量取值为$X_j$时，观察到被解释变量等于1的次数为
$$Y_{.j}=\sum _{i=1}^{n_j}{Y}_{ij}\sim Binom(n_j,p_j)$$
$$p_j=\frac{1}{1+\exp (-X_j\beta )}$$
这个模型叫二项回归（Binomial Regression）。

拟合优度检验

拟合优度检验（Goodness of fit test）的作用是检验模型整体的拟合质量，对小部分拟合不好的地方不会很敏感。如果样本数据存在replication，可以使用卡方拟合优度检验或者Deviance拟合优度检验，如果样本数据不存在replication，可以使用Hosmer-Lemeshow拟合优度检验。Logistics回归的拟合优度检验假设为
$$\begin{gathered} H_0:P(Y_i=1)=\frac{1}{1+\exp (-X_i\beta )} \\ {H}_a:P(Y_i=1)\ne \frac{1}{1+\exp (-X_i\beta )} \end{gathered}$$

Pearson卡方拟合优度检验

使用二项回归关于样本replication的设定，
$$O_{1j}=Y_{.j},O_{0j}=n_j-Y_{.j}$$
在原假设下，假设拟合值为
$${\hat{p}}_j=\frac{1}{1+\exp (-X_i\hat{\beta })}$$
被解释变量取1和0的理论样本数为
$$E_{1j}=n_j{\hat{p}}_j,E_{0j}=n_j(1-{\hat{p}}_j)$$
当$p<c$且replication数量$n_j$足够大时
$${\chi }^2=\sum _{j=1}^c[\frac{(O_{0j}-E_{0j}{)}^2}{E_{0j}}+\frac{(O_{1j}-E_{1j}{)}^2}{E_{1j}}]\sim {\chi }^2(c-p)$$

Deviance拟合优度检验

Deviance拟合优度检验用的是似然比检验的思想。其reduced model是Logistics回归，full model是
$$E(Y_{ij})=p_j$$
这时似然比检验的统计量又被叫做Deviance，记作$Dev(X)$，它代表这两个模型之间的deviation。

Hosmer-Lemeshow拟合优度检验

Hosmer-Lemeshow拟合优度检验是卡方拟合优度检验的直接推广，$n_j=1$代表样本数据没有replication，$n_j>1$代表样本数据有replication。

多值被解释变量

假设$Y_i$有$m$个可能的取值，不失一般性，假设为$1,2,...,m$。假设$Y_i$服从Boltzmann分布
$$\begin{gathered} P(Y_i=j)=\frac{1}{1+{\sum }_{k=1}^{m-1}\exp (-X_i{\beta }_k)},j=1 \\ P(Y_i=j)=\frac{\exp (X_i{\beta }_j)}{1+{\sum }_{k=1}^{m-1}\exp (-X_i{\beta }_k)},j>1 \end{gathered}$$
这个模型叫多值Logit模型（MLogit）。Boltzmann分布用来描述第$j$个能级的粒子数，假设共有$m$个能级，则第$j$个能级的粒子数占系统总粒子数的比值为
$$p_j=\frac{exp(-{ϵ}_j/kT)}{{\sum }_{k=1}^{m}exp(-{ϵ}_k/kT)}=\frac{exp(({ϵ}_1-{ϵ}_j)/kT)}{{\sum }_{k=1}^{m}exp(({ϵ}_1-{ϵ}_k)/kT)}$$
Boltzmann分布用来描述多分类任务的想法还是比较直接。系数${\beta }_k$的大小就相当于是${ϵ}_k-{ϵ}_1$，即第$k$能级与第1能级的能量差。能级的能量越大，能级的粒子数就越少，因此当解释变量的取值范围为正实数时，系数${\beta }_k$越大，$Y_i=k$的可能性就越小。第1能级包含的粒子数占比被标准化为
$$\frac{1}{1+{\sum }_{k=2}^m\exp ({ϵ}_1-{ϵ}_k)/kT)},$$
对应在mLogit中就是$Y_i=1$的概率。

总结

以上是生活随笔为你收集整理的UA MATH571A 多元线性回归IV 广义线性模型的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。