LASSO与Item Response Theory模型中的隐变量选择

• Item Response Theory简介
• • 统计模型
• Latent Traits Selection
• • 两参数模型的LASSO
  • BIC for tuning
  • Latent traits selection的EM算法

这是Latent Variable Selection for Multidimensional Item Response Theory Models via L1 Regularization的简单介绍。

---

Item Response Theory简介

在心理学中，有很多用于测量个人特质（trait）与dichotomous-response、polytomous-response item（就是用一些二选或者多选的问题来看被试者在一些具体场景中的反应）的量表和实验，基于这些量表与实验的测量结果，心理学家可以发掘item-trait之间的关系。

下面是几个二选的例子（如何应对坏男人）

下面是两个多选问题的例子（gender-orientation的测试）

统计模型

Item Response Theory (IRT)就是很常用的描述item-trait relation的统计模型。用$\theta =({\theta }^1,\cdots ,{\theta }^K{)}^T$表示被试者的特质向量（这个是不可测量的），每一个分量表示被试者的一种潜在特质；考虑$J$个二选题组成的量表，用$Y_j$表示被试者对第$j$个问题的回答，假设我们讨论两参数模型
$$P(Y_j=1|\theta )=F(a_j^T\theta +b_j)$$

其中$a_j=(a_{j1},\cdots ,a_{jK}{)}^T$，$F(\cdot )$是一个累积分布函数，定义
$$A=(a_1,\cdots ,a_J),b=(b_1,\cdots ,b_J{)}^T$$

称$a_j$为discrimination parameter vector，$b_j$为difficulty parameter。如果$a_{jk}\ne 0$，就可以认为特质$k$在被试者对第$j$个问题做出1的回应中起到了一定作用。于是，为了构建特质与被试者在不同情景中的反应之间的关系，我们希望找出在被试者对每一个问题做出回应的过程中起作用的那些特质，这个正是variable selection可以解决的。正式描述的话就是我们希望估计一个0-1矩阵
$$\Lambda =({\lambda }_{jk}{)}_{J\times K},{\lambda }_{jk}=I_{a_{jk}\ne 0}$$

用来描述item-trait relation。

另外，关于$F$有两种流行的选择：
Normal Ogive Model
$$P(Y_j=1|\theta ,a_j,b_j)={\int }_{-\infty }^{a_j^T\theta +b_j}\frac{e^{-\frac{u^2}{2}}}{\sqrt{2\pi }}du$$

Logistics Model

$$P(Y_j=1|\theta ,a_j,b_j)=\frac{\exp (a_j^T\theta +b_j)}{1+\exp (a_j^T\theta +b_j)}$$

在原文中，作者也讨论了一种三参数模型：
$$P(Y_j=1|\theta ,a_j,b_j,c_j)=c_j+(1-c_j)F(a_j^T\theta +b_j)$$

$c_j$表示guessing probability。

Latent Traits Selection

两参数模型的LASSO

假设有$N$个被试者，他们对$J$个问题的回答用$Y=(Y_{ij}{)}_{N\times J}$表示，他们的特质满足${\theta }_1,\cdots ,{\theta }_N{\sim }_{iid}N(0,\Sigma )$（概率密度记为$\varphi (\theta )$），记$\Theta =({\theta }_1,\cdots ,{\theta }_N)$，于是两参数模型的似然函数为（包含complete data $Y$与missing data $\Theta$）
$$L(A,b|Y,\Theta )=\prod _{i=1}^N\varphi ({\theta }_i)\prod _{j=1}^J[F(a_j^T{\theta }_i+b_j){]}^{y_{ij}}{\left[1-F(a_j^T{\theta }_i+b_j)\right]}^{1-y_{ij}}$$

complete data的对数似然为
$$l(A,b|Y)=\log {\int }_{\Theta \in {\mathbb{R}}^{K\times N}}L(A,b|Y,\Theta )d\Theta$$

用complete data的对数似然扣掉discrimination parameter的LASSO penalty作为score function，最大化score function可以得到参数的LASSO估计：
$$({\hat{A}}_{\eta },{\hat{b}}_{\eta })=\mathrm{argmax}l(A,b|Y)-\eta {\Vert A\Vert }_1$$

其中$\eta >0$是regularization parameter，
$${\Vert A\Vert }_1=\sum _{j=1}^J\sum _{k=1}^K|a_{jk}|$$

如果$\eta =0$，那么LASSO估计退化为MLE。

BIC for tuning

原文作者采用BIC选择regularization parameter $\eta$，IRT的BIC定义为
$$\begin{gathered} BIC({\Lambda }^{\ast })=-2\underset{\Lambda (A)={\Lambda }^{\ast },b}{\max }l(A,b|Y)+{\Vert A\Vert }_0\log N \\ {\Vert A\Vert }_0=\sum _{j,k}{I}_{a_{jk}\ne 0} \end{gathered}$$

在两参数模型的LASSO中，我们可以按下面的步骤做tuning：

给定一个$\eta$的取值，得到两参数模型的LASSO估计${\hat{A}}_{\eta },{\hat{b}}_{\eta }$

根据${\hat{A}}_{\eta }$写出指标矩阵${\Lambda }_{\eta }=\Lambda ({\hat{A}}_{\eta })$

对于${\Lambda }_{\eta }$，计算$BIC({\Lambda }_{\eta })$

对于$\eta$取值的一个范围，计算出对应的$BIC$后选出$BIC$最小的${\eta }^{\ast }$作为regularization parameter。

Latent traits selection的EM算法

这部分我暂时不关注，所以贴原文（希望了解更多细节与数值实验的同学可以自行阅读全文）

总结

以上是生活随笔为你收集整理的LASSO与Item Response Theory模型中的隐变量选择的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。