文章快速检索     高级检索
  北京化工大学学报(自然科学版)  2020, Vol. 47 Issue (1): 107-112   DOI: 10.13543/j.bhxbzr.2020.01.017
0

引用本文  

刘佳乐, 黄彬. 纵向数据下基于复合分位数回归的经验似然推断[J]. 北京化工大学学报(自然科学版), 2020, 47(1): 107-112. DOI: 10.13543/j.bhxbzr.2020.01.017.
LIU JiaLe, HUANG Bin. Empirical likelihood-based inference via composite quantile regression with longitudinal data[J]. Journal of Beijing University of Chemical Technology (Natural Science), 2020, 47(1): 107-112. DOI: 10.13543/j.bhxbzr.2020.01.017.

基金项目

国家自然科学基金(11471321)

第一作者

刘佳乐, 男, 1996年生, 硕士生.

通信联系人

黄彬, E-mail: huangbin@mail.buct.edu.cn

文章历史

收稿日期:2019-06-26
纵向数据下基于复合分位数回归的经验似然推断
刘佳乐 , 黄彬     
北京化工大学 数理学院, 北京 100029
摘要:利用复合分位数回归(CQR)研究了纵向数据下回归系数的经验似然(EL)推断。将数据组内相关性纳入估计方程中,得到了参数更加有效和稳健的估计,无需预先估计渐近方差,从理论上证明了所得复合分位数经验似然估计(CQREL)的渐近性质,且提出的经验对数似然比服从渐近卡方分布,从而构造了兴趣参数的置信域。通过数值模拟验证了所得方法有很好的有限样本性质。
关键词纵向数据    复合分位数回归(CQR)    经验似然(EL)    置信域    
Empirical likelihood-based inference via composite quantile regression with longitudinal data
LIU JiaLe , HUANG Bin     
College of Mathematics and Physics, Beijing University of Chemical Technology, Beijing 100029, China
Abstract: In this paper, empirical likelihood-based inference procedure via composite quantile regression with longitudinal data is investigated. By incorporating correlation within subjects, the proposed method produces more efficient and robust estimators. The theoretical properties of the resulting composite quantile regression empirical likelihood estimator (CQREL) are established. The proposed empirical log-likelihood ratio statistics has an asymptotic standard chi-square distribution, and hence the confidence region for the parameter of interest can be constructed. Simulation studies indicate that the proposed empirical likelihood procedure has good performance.
Key words: longitudinal data    composite quantile regression (CQR)    empirical likelihood (EL)    confidence region    
引言

纵向数据经常出现在经济学和生物医学研究中,它通过对相同的个体进行多次重复测量得到,因而具有组内相关、组间独立的特点;同时由于重复测量,一个个体的突变往往会使数据产生一系列的异常值,因此如何处理组内相关性,提高估计的效率和稳健性,一直是纵向数据研究的重要内容。Koenker[1-2]提出的分位数回归是研究纵向数据的一种重要方法,该方法不仅能实现稳健估计,还可描述响应变量的整个条件分布。纵向数据下的分位数回归最大的困难是估计相关矩阵,许多学者利用特定的相关结构[3-5],或结合经验似然(EL)[4]、二次推断函数(QIF)[5]、高斯copula函数以及改进Cholesky分解(MCD)法[6]等方法将数据相关性纳入估计方程中,从而得到更有效的估计。

当数据相互独立时,Zou等[7]提出了复合分位数回归(CQR)估计,该方法充分利用多个分位数信息,从而进一步提高了参数估计的效率,因此CQR方法被广泛应用于各种复杂数据中。在纵向数据下,Tang等[8]利用EL和QIF方法构造权重,得到参数的加权CQR估计;Lv等[6]利用MCD分解对相关数据的协方差矩阵进行估计,并与CQR方法相结合得到了参数的有效估计; Zhao等[9]利用广义矩估计(GMM)方法[10]将CQR和QIF方法相结合,得到了参数的复合分位数二次推断函数估计(CQRQIF)。

统计推断的另一个重要问题是对兴趣参数置信域的构造,通过EL得到的置信域具有一些很好的性质,如域保持性、变换不变性以及置信域的形状完全由数据决定等。Zhao等[11-12]基于CQR和EL方法研究了线性模型和部分线性模型下参数的稳健估计,并利用经验对数似然比的渐近卡方分布得到参数的置信域,该方法无需估计渐近方差,且比一些已有方法更加有效和稳健,但是它们仅考虑独立数据的情形。

在纵向数据下,本文进一步研究基于CQR的线性模型的EL推断,利用QIF的思想将工作相关矩阵的逆表示为某些基矩阵的线性组合,从而将数据组内相关性纳入估计方程中;将CQR和EL方法相结合,得到了参数的复合分位数回归经验似然估计(CQREL)估计,证明了所得估计的渐近正态性;另外,无需预先估计渐近方差,利用检验统计量服从渐近卡方分布,得到兴趣参数的置信域;数值模拟结果进一步说明所得CQREL估计方法能更有效和更稳健地估计参数。

1 参数估计方法 1.1 CQREL方法

假设纵向数据有n个个体, yi=(yi1, …, yimi)TXi=(Xi1, …, Ximi)T分别为个体i的响应变量和协变量,其中Xij=(xij1, …, xijp)Ti=1, …, nj=1, …, mi。假设mii=1, …, n一致有界,则$M = \sum\limits_{i = 1}^n {{m_i}} $n同阶。考虑如下线性模型

$ {y_{ij}} = \mathit{\boldsymbol{X}}_{ij}^{\rm{T}}\mathit{\boldsymbol{\beta }} + {\mathit{\boldsymbol{\varepsilon }}_{ij}} $ (1)

式中,β为未知的回归参数,εij为随机误差,εi=(εi1, …, εimi)TXi相互独立,且其均值为0,即E(εi)=0。假设纵向数据满足不同个体间相互独立,且相同个体内存在某种相关性;当忽略数据组内相关性时,令0 < τ1 < τ2 < … < τK, 可用复合分位数回归(CQR)[13]方法估计参数

$ (\mathit{\boldsymbol{\tilde \beta }}, \mathit{\boldsymbol{\widetilde b}}) = \mathop {\arg \min }\limits_{\mathit{\boldsymbol{\beta , b}}} \sum\limits_{k = 1}^K {\left( {\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^{{m_i}} {{\rho _{{\tau _k}}}} } \left( {{y_{ij}} - {b_k} - } \right.} \right.} \left. {\mathit{\boldsymbol{X}}_{ij}^{\rm{T}}\mathit{\boldsymbol{\beta }}} \right) $ (2)

式中,ρτk(u)=u(τk-1(u < 0)),1(·)为示性函数;b=(b1, …, bk, …, bK)Tbk=F-1(τk),F(·)为εij的分布函数。通常,取${\tau _k} = \frac{k}{{K + 1}}, k = 1, \cdots, K$。在R语言中可以利用cqrReg软件包得到估计$\left({\mathit{\boldsymbol{\widetilde \beta }}, \mathit{\boldsymbol{\widetilde b}}} \right)$。若记θ=(βT, bT)T,则由式(2)可知,${\mathit{\boldsymbol{\tilde \theta }}}$满足估计方程

$ \sum\limits_{k = 1}^K {\sum\limits_{i = 1}^n {\mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}} } {\mathit{\boldsymbol{S}}_{ik}}(\mathit{\boldsymbol{\theta }}) = 0 $

式中,Zik=(Xi, Dik), Dik为第k列全为1且其余列全为0的mi×K矩阵;Sik(θ)=ψτk(yiZikθ), ψτk(u)=(ψτk(u1), …, ψτk(us))Tu=(u1, …, us)T为任意的s维向量,ψτk(ui)=τk-1(ui < 0)。

若记θ的真值为θ0=(β0T, b0T)T,则由文献[12]中定理2.1及其证明可知,${\mathit{\boldsymbol{\tilde \theta }}}$θ0$\sqrt n $-相合估计,但因忽略了数据组内相关性,从而导致了估计效率的损失。为了提高估计的效率,需要在估计方程中纳入相关性,基于广义估计方程(GEE)方法[13]和Jung[14]的思路,可用方程(3)估计θ

$ \sum\limits_{k = 1}^K {\sum\limits_{i = 1}^n {\mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}} } \mathit{\boldsymbol{V}}_{ik}^{ - 1}{\mathit{\boldsymbol{S}}_{ik}}(\mathit{\boldsymbol{\theta }}) = 0 $ (3)

式中,Vik=Cov(Sik(θ))=Aik1/2Ri(α)Aik1/2Ri(α)为依赖于讨厌参数α的工作相关矩阵;Aik=wk-1Imi, wk-1=τk(1-τk), Imimi×mi单位矩阵。由于参数α较难估计,受Qu等[5]的启发,将Ri-1(α)表示为某些基矩阵的线性组合,即$\mathit{\boldsymbol{R}}_i^{ - 1}(\mathit{\alpha }) = \sum\limits_{l = 1}^L {{a_l}} {\mathit{\boldsymbol{M}}_{il}}$,其中Mil为一些已知的对称基矩阵,al为未知常数,l=1, …, L

Ri(α)是可交换结构,则Ri-1(α)可表示为a1Mi1+a2Mi2,其中,Mi1为单位矩阵,Mi2为主对角线均为0、其余均为1的矩阵。若Ri(α)是一阶自回归结构(AR1),则Ri-1(α)可表示为a1Mi1+a2Mi2+a3Mi3,其中Mi1为单位矩阵,Mi2为主对角线两侧的对角线为1、其余均为0的矩阵,Mi3为(1, 1)和(mi, mi)元素为1、其余均为0的矩阵(更多细节可参见文献[5])。故此估计方程式(3)可以看成是如下Ui(θ)(i=1, …, n)的线性组合

$ {\mathit{\boldsymbol{U}}_i}\left( \mathit{\boldsymbol{\theta }} \right) = \sum\limits_{k = 1}^K {{w_k}} \left( {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{M}}_{i1}}}\\ \vdots \\ {\mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{M}}_{iL}}} \end{array}} \right){\mathit{\boldsymbol{S}}_{ik}}(\mathit{\boldsymbol{\theta }}) = \sum\limits_{k = 1}^K {{w_k}} \mathit{\boldsymbol{G}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{S}}_{ik}}(\mathit{\boldsymbol{\theta }}) $

式中Gik=(Mi1TZik, …, MiLTZik)。

给定Ri(α),E(Ui(θ0))=0,将CQR和EL方法相结合,重新组合Ui(θ0)(i=1, …, n)的信息,得到θ的经验对数似然比函数为

$ {l_n}(\mathit{\boldsymbol{\theta }}) = - 2\max \left\{ {\sum\limits_{i = 1}^n {\lg } \left( {n{p_i}} \right)|{p_i} \ge 0, \sum\limits_{i = 1}^n {{p_i}} = } \right.{\rm{ 1, }}\left. {\sum\limits_{i = 1}^n {{p_i}} {\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }}) = 0} \right\} $

对给定的θ,当0位于{Ui(θ), i=1, …, n}的凸包之内时,ln(θ)存在且唯一。利用拉格朗日乘子法可将ln(θ)表示为

$ {l_n}(\mathit{\boldsymbol{\theta }}) = 2\sum\limits_{i = 1}^n {\lg } \left[ {1 + {\mathit{\boldsymbol{\lambda }}^{\rm{T}}}{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }})} \right] $

式中,λ=λ(θ)为拉格朗日乘子,且满足

$ \sum\limits_{i = 1}^n {\left[ {\frac{{{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }})}}{{1 + {\mathit{\boldsymbol{\lambda }}^{\rm{T}}}{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }})}}} \right]} = 0 $

最小化ln(θ),得到θ的CQREL为

$ {\left( {{{\mathit{\boldsymbol{\widehat \beta }}}^{\rm{T}}}, {{\mathit{\boldsymbol{\widehat b}}}^{\rm{T}}}} \right)^{\rm{T}}} = \mathit{\boldsymbol{\widehat \theta }} = \mathop {\arg \min }\limits_\theta {l_n}(\mathit{\boldsymbol{\theta }}) $ (4)

值得注意的是,无需估计讨厌参数和未知常数al, l=1, …, L,可以在R语言中通过软件包emplik和optim来求解最小化问题式(4)。另外,与CQRQIF[9]相比,本文的CQREL方法不需选择一个正定的权重矩阵,而且构造置信域的形状完全由数据本身决定,无需预先估计渐近方差,特别当渐近方差较难估计时,这一优势尤为重要。

1.2 估计的渐近性质

对任意的i=1, …, nj=1, …, mi,假设下列条件成立:

(1) Ω=E(Ui(θ0)Ui(θ0)T)是正定矩阵;

(2) εij的分布函数F(·)是二阶连续可微的,其密度函数f(·)有界,且f(·)>0;

(3) Xij一致有界;

(4) β所在的参数空间为$\mathscr{B}$,且$\mathscr{B}$Rp的紧子集,其真值β0$\mathscr{B}$的内点。

为了便于证明,引入以下记号:

① 令Δik=f(b0k)ImiΓ=(Γ1, Γ2);

${\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}} = \sum\limits_{k = 1}^K {{w_k}} E\left({\mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{i1}}{\mathit{\boldsymbol{Z}}_{ik}}, \cdots, \mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{iL}}\left. {{\mathit{\boldsymbol{Z}}_{ik}}} \right)} \right.$;

$\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_1^{\rm{T}} = \sum\limits_{k = 1}^K {{w_k}} E\left({\mathit{\boldsymbol{X}}_i^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{\mathit{i}{\rm{l}}}}{\mathit{\boldsymbol{Z}}_{ik}}, \cdots, \mathit{\boldsymbol{X}}_i^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{iL}}{\mathit{\boldsymbol{Z}}_{ik}}} \right)$;

$\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2^{\rm{T}} = \sum\limits_{k = 1}^K {{w_k}} E\left({\mathit{\boldsymbol{D}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{i1}}{\mathit{\boldsymbol{Z}}_{ik}}, \cdots, \mathit{\boldsymbol{D}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{M}}_{iL}}{\mathit{\boldsymbol{Z}}_{ik}}} \right)$

定理1  假设条件式(1)~(4)成立,则当n→∞时,有$\sqrt{n}\left(\mathrm{\hat{ }\!\!\theta\!\!\text{ }}-{{\mathrm{ }\!\!\theta\!\!\text{ }}_{0}} \right)\xrightarrow{D}N(\bf{0}, \mathrm{ }\!\!\Sigma\!\!\text{ })$, 且${{l}_{n}}\left({{\mathrm{ }\!\!\theta\!\!\text{ }}_{0}} \right)\xrightarrow{D}{{\chi }^{2}}(p+K)$,其中$\mathrm{ }\!\!\Sigma\!\!\text{ }={{\left({{\mathrm{ }\!\!\Gamma\!\!\text{ }}^{\text{T}}}{{\mathrm{ }\!\!\Omega\!\!\text{ }}^{-1}}\mathrm{ }\!\!\Gamma\!\!\text{ } \right)}^{-1}}$

证明:由文献[15]可知,${\mathit{\boldsymbol{\hat \theta }}}$θ0的相合估计,用‖·‖表示欧几里德范数。记${\mathit{\boldsymbol{D}}_n}(\mathit{\boldsymbol{\theta }}) = {n^{ - 1}}\sum\limits_{i = 1}^n {{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }})} $, 由文献[16]得

$ \begin{array}{l} {\mathit{\boldsymbol{D}}_n}(\mathit{\boldsymbol{\theta }}) = {\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) - {n^{ - 1}}\mathop \sum \limits_{i = 1}^n \\ \left( {\begin{array}{*{20}{c}} {\sum\limits_{k = 1}^K {{w_k}} \mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{M}}_{i{\rm{l}}}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{Z}}_{ik}}}\\ \cdots \\ {\sum\limits_{k = 1}^K {{w_k}} \mathit{\boldsymbol{Z}}_{ik}^{\rm{T}}{\mathit{\boldsymbol{M}}_{iL}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{ik}}{\mathit{\boldsymbol{Z}}_{ik}}} \end{array}} \right)\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right) + {o_p}\left( {{n^{ - 1/2}}} \right) = {\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) - \\ \mathit{\boldsymbol{ \boldsymbol{\varGamma} }}\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right) + {o_p}\left( {{n^{ - 1/2}}} \right) \end{array} $ (5)

且式(5)在Θn={θ:‖θθ0‖=O(n-1/2)}上一致成立。由文献[17]有

$ \mathit{\boldsymbol{\lambda }}(\mathit{\boldsymbol{\theta }}) = {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}{\mathit{\boldsymbol{D}}_n}(\mathit{\boldsymbol{\theta }}) + {o_p}\left( {{n^{ - 1/2}}} \right) $ (6)

且式(6)在Θn上一致成立。由条件式(1)~(4)和式(5)、(6),将ln(θ)泰勒展开得到

$ \begin{array}{l} {l_n}(\mathit{\boldsymbol{\theta }}) = 2\left\{ {\sum\limits_{i = 1}^n \mathit{\boldsymbol{\lambda }} {{(\mathit{\boldsymbol{\theta }})}^{\rm{T}}}{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }}) - \frac{1}{2}\sum\limits_{i = 1}^n ( \mathit{\boldsymbol{\lambda }}} \right.\\ \left. {{{\left. {{{(\mathit{\boldsymbol{\theta }})}^{\rm{T}}}{\mathit{\boldsymbol{U}}_i}(\mathit{\boldsymbol{\theta }})} \right)}^2} + {o_p}(1)} \right\} = n{\mathit{\boldsymbol{D}}_n}{(\mathit{\boldsymbol{\theta }})^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}{\mathit{\boldsymbol{D}}_n}(\mathit{\boldsymbol{\theta }}) + \\ {o_p}(1) = n{\left( {{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) - \mathit{\boldsymbol{ \boldsymbol{\varGamma} }}\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right)} \right)^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\left( {{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) - } \right.\\ \left. {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right)} \right) + {o_p}(1) = n{\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right)^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right) - \\ 2n{\left( {\mathit{\boldsymbol{\theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right)^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) + n{\mathit{\boldsymbol{D}}_n}{\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) + \\ {o_p}(1) \end{array} $ (7)

由条件式(1)~(4)可知,式(5)、(6)与式(7)在Θn上一致成立,且有

$ \sqrt n \left( {\mathit{\boldsymbol{\widehat \theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right) = {\left( {{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}} \right)^{ - 1}}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\sqrt n {\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) + {o_p}(1) $ (8)

另外有

$ \sqrt{n}{{\boldsymbol{D}}_{n}}\left( {{\mathrm{ }\!\!{\boldsymbol{\theta }}\!\!\text{ }}_{0}} \right)={{n}^{-\frac{1}{2}}}\sum\limits_{i=1}^{n}{{{\boldsymbol{U}}_{i}}}\left( {{\mathrm{ }\!\!{\boldsymbol{\theta }}\!\!\text{ }}_{0}} \right)\xrightarrow{D}(\bf{0}, \mathrm{ }\!\!{\boldsymbol{\Omega }}\!\!\text{ }) $ (9)

则当n→∞时, 有

$ \sqrt n \left( {\mathit{\boldsymbol{\widehat \theta }} - {\mathit{\boldsymbol{\theta }}_0}} \right)\xrightarrow{D}N\left( {{\bf{0}},{{\left( {{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}} \right)}^{ - 1}}} \right) $

由式(7)、(9)可得

$ {l_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) = \sqrt n {\mathit{\boldsymbol{D}}_n}{\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)^{\rm{T}}}{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1}}\sqrt n {\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right) + {o_p}(1)\xrightarrow{D}{\chi ^2}(p + K) $

值得注意的是,若文献[9]中式(4)取Aik=wk-1Imi,则由定理1可知,本文的CQREL与CQRQIF[9]所得估计有相同的渐近协方差阵。

本文感兴趣的参数是β,所以可以利用profile经验对数似然比检验统计量对β进行检验或构造β的置信域。欲检验H0:β=β0, 需定义检验统计量

$ {W_n}\left( {{\mathit{\boldsymbol{\beta }}_0}} \right) = {l_n}\left( {{\mathit{\boldsymbol{\beta }}_0},\mathit{\boldsymbol{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\smile$}} \over b} }}} \right) - {l_n}\left( {{\mathit{\boldsymbol{\beta }}_0},\mathit{\boldsymbol{\widehat b}}} \right) $

式中,$\mathit{\boldsymbol{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\smile$}} \over b} }} = \mathop {\arg \min {l_n}}\limits_b \left({{\mathit{\boldsymbol{\beta }}_0}, \mathit{\boldsymbol{b}}} \right)$

定理2  假设条件式(1)~(4)成立,H0:β=β0,当H0为真时,有${W_n}\left({{\mathit{\boldsymbol{\beta }}_0}} \right)\xrightarrow{D}{\chi ^2}(p)$

证明:A=Ω-1/2(I(p+K)LΓΣ-1ΓTΩ-1)Ω1/2A2=Ω-1/2(I(p+K)LΓ2Σ2-1Γ2TΩ-1)Ω1/2Σ2=Γ2TΩ-1Γ2;由式(7)、(8)及文献[17]得

$ {l_n}(\mathit{\boldsymbol{\widehat \beta }}, \mathit{\boldsymbol{\widehat b}}) = {\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right]^{\rm{T}}}\mathit{\boldsymbol{A}}\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}} \right.\left. {\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right] + {o_p}(1) $
$ {l_n}\left( {{\mathit{\boldsymbol{\beta }}_0}, \mathit{\boldsymbol{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\smile$}} \over b} }}} \right) = {\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right]^{\rm{T}}}{\mathit{\boldsymbol{A}}_2}\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}} \right.\left. {\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right] + {o_p}(1) $

从而有

$ \begin{array}{l} {W_n}\left( {{\mathit{\boldsymbol{\beta }}_0}} \right) = {\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right]^{\rm{T}}}\left( {{\mathit{\boldsymbol{A}}_2} - \mathit{\boldsymbol{A}}} \right)\\ [\sqrt n \left. {{\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right] + {o_p}(1) = {\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right]^{\rm{T}}}\\ {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}\left( {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}^{ - 1}}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}} - {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2}\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_2^{ - 1}\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2^{\rm{T}}} \right){\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}\left[ {\sqrt n {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}^{ - 1/2}}{\mathit{\boldsymbol{D}}_n}\left( {{\mathit{\boldsymbol{\theta }}_0}} \right)} \right] + {o_p}(1) \end{array} $ (10)

$\sqrt{n} \boldsymbol{\Omega}^{-1 / 2} \boldsymbol{D}_{n}\left(\boldsymbol{\theta}_{0}\right) \stackrel{D}{\longrightarrow}\left(\bf{0}, \boldsymbol{I}_{(p+K) L}\right)$得到

$ \mathit{\boldsymbol{I}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}^{ - 1}}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}^{\rm{T}}} \ge \left( {{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_1},{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2}} \right)\left( {\begin{array}{*{20}{c}} {\bf{0}}&{\bf{0}}\\ {\bf{0}}&{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_2^{ - 1}} \end{array}} \right)\left( {\begin{array}{*{20}{l}} {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_1^{\rm{T}}}\\ {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2^{\rm{T}}} \end{array}} \right) = {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2}\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_2^{ - 1}\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_2^{\rm{T}} $

式(10)中,Ω-1/2ΓΣ-1ΓTΩ-1/2Ω-1/2Γ2Σ2-1Γ2TΩ-1/2为对称的幂等矩阵,且迹分别为p+KK,根据文献[18]中的结论,有${W_n}\left({{\mathit{\boldsymbol{\beta }}_0}} \right)\xrightarrow{D}{\chi ^2}(p)$

由定理2可知,β的置信度为1-α的置信域可近似表示为{β:β$\mathscr{B}$, Wn(β)≤χ1-α2(p)}, 其中χ1-α2(p)为分布χ2(p)的1-α分位数。

2 数值模拟

考虑以下4种不同的误差分布情况进行模拟。

① 多元正态分布。假设εi满足多元正态分布,即εi~N(0, Σε(ρ))(Σε(ρ)为一阶自回归结构,相关系数ρ=0.7)。

② 多元t分布。假设εi满足自由度为2的t分布,即εi~t2(0, Σε(ρ)), Σε(ρ)同情形①。

③ 有异常值的多元正态分布。从情形①产生的数据中分别随机选取2%的yij各加减20。

④ 有异常值的多元t分布。从情形②产生的数据中分别随机选取2%的yij各加减20。

模拟中样本容量n分别取100、200,为简单起见,取mi=m=5,模拟次数为300。数据由如下模型生成

yij=XijTβ+εij

式中,i=1, …, nj=1, …, mβ=(β1, β2)Tβ1=-1,β2=2,Xij=(xij1, xij2)Txij1~N(0, 1),xij2~N(0, 1)。

将本文提出的CQREL方法分别与最小二乘经验似然估计(LSEL)和CQRQIF方法进行比较,采用均方误差根(RMSE)评估不同估计${\mathrm{\hat{ }\!\!\beta\!\!\text{ }}}$的表现

$ {x_{{\rm{RusE }}}} = \sqrt {{{(\mathit{\boldsymbol{\widehat \beta }} - \mathit{\boldsymbol{\beta }})}^{\rm{T}}}(\mathit{\boldsymbol{\widehat \beta }} - \mathit{\boldsymbol{\beta }})} $

模拟中,将工作相关矩阵Ri分别指定为独立(WI)、可交换(EX)和一阶自回归(AR1)结构。对基于CQR的估计方法,均选取9个不同的分位数τ1=0.1, …, τ9=0.9。

表 1~4给出了4种情形下β估计的RMSE均值(Mean)和标准差(SD)。限于篇幅,表中只列出了n=100的情形,当n=200时也得到了类似的结果, 且RMSE有更小的Mean和SD,同样验证了3种估计的相合性。

下载CSV 表 1 情形①下RMSE的模拟结果 Table 1 RMSE simulation results for Case1
下载CSV 表 2 情形②下RMSE的模拟结果 Table 2 RMSE simulation results for Case2
下载CSV 表 3 情形③下RMSE的模拟结果 Table 3 RMSE simulation results for Case3
下载CSV 表 4 情形④下RMSE的模拟结果 Table 4 RMSE simulation results for Case4

表 1~4可以看出,对于3种方法,忽略了数据相关结构(WI)的估计结果均较差,因此研究纵向数据时考虑组内的相关结构是很有必要的。当误差服从正态分布(表 1)时,LSEL的结果优于CQREL和CQRQIF;当误差服从非正态分布(表 2)或数据存在异常值时(表 34),CQREL和CQRQIF因其RMSE有更小的Mean和SD值,明显优于LSEL。说明CQREL和CQRQIF方法所得估计具有更好的有效性和稳健性。CQREL和CQREL两种方法具有相近的结果,原因主要是两种方法的估计有相同的渐近协方差阵。

接下来考虑参数β的区间估计。基于300次模拟结果,表 5给出了4种情形下(Case1、Case2、Case3、Case4)95%置信域的平均覆盖率(CP)。从表中可以看出,当考虑相关性时,无论哪种情形,基于CQR的两种方法的CP值均接近95%;而LSEL只在情形①下表现较好,当误差服从非正态分布或数据存在异常值时,其CP值均偏离95%。

下载CSV 表 5 参数95%置信域的平均覆盖率 Table 5 The average coverage probability of the 95% confidence region

为了比较CQREL和CQRQIF的置信域性质,图 1给出了情形①下两种方法的置信域。从图中可以看出,基于AR1相关结构的估计比基于EX相关结构有更小的置信区域,并且在CP值都接近95%的情况下,CQREL方法所得的置信域在精度上明显高于CQRQIF。

图 1 情形1下的置信域 Fig.1 Confidence region for Case1

综上所述,当误差服从非正态分布或数据存在异常值时,本文的CQREL方法比LSEL方法有更好的估计效率和稳健性;另外,尽管CQREL与CQRQIF方法所得估计RMSE的Mean、SD和置信域的CP均有相近的结果,但是CQREL能得到精度更高的置信域,从而比CQRQIF有更好的有限样本性质。

3 结束语

在纵向数据下,本文将CQR和EL方法相结合,得到了模型参数更加有效且稳健的估计。同时在理论上证明了所得估计和经验对数似然比统计量的渐近性质。借助QIF的思想考虑数据相关性,在估计过程中无需估计工作相关矩阵中的讨厌参数,并且所构造的置信域的形状完全由数据本身决定,无需预先估计渐近方差。通过数值模拟得到了更加有效和稳健的参数估计结果,并且在平均覆盖概率接近95%的情况下,构造出精度更高的置信域。

本文仅究了纵向数据下线性模型的统计推断问题,未来可将该方法推广到部分线性变系数模型、单指标模型等半参数模型中,同时考虑响应变量缺失的情况。

参考文献
[1]
KOENKER R. Quantile regression[M]. Cambridge: Cambridge University Press, 2005.
[2]
KOENKER R. Quantile regression for longitudinal data[J]. Journal of Multivariate Analysis, 2004, 91(1): 74-89. DOI:10.1016/j.jmva.2004.05.006
[3]
LV J, GUO C H. Efficient parameter estimation via modified Cholesky decomposition for quantile regression with longitudinal data[J]. Computational Statistics, 2017, 32(3): 947-975. DOI:10.1007/s00180-017-0714-6
[4]
OWEN A B. Empirical likelihood[M]. New York: Chapman & Hall/CRC, 2001.
[5]
QU A N, LINDSAYB G, LI B. Improving generalised estimating equations using quadratic inference functions[J]. Biometrika, 2000, 87(4): 823-836. DOI:10.1093/biomet/87.4.823
[6]
LV J, GUO C H, YANG H, et al. A moving average Cholesky factor model in covariance modeling for composite quantile regression with longitudinal data[J]. Computational Statistics & Data Analysis, 2017, 112: 129-144.
[7]
ZOU H, YUAN M. Composite quantile regression and the oracle model selection theory[J]. The Annals of Statistics, 2008, 36(3): 1108-1126. DOI:10.1214/07-AOS507
[8]
TANG Y L, WANG Y F, LI J R, et al. Improving estimation efficiency in quantile regression with longitudinal data[J]. Journal of Statistical Planning and Inference, 2015, 165: 38-55. DOI:10.1016/j.jspi.2015.03.008
[9]
ZHAO W H, LIAN H, SONG X Y. Composite quantile regression for correlated data[J]. Computational Statistics & Data Analysis, 2017, 109: 15-33.
[10]
HANSEN L P. Large sample properties of generalized method of moments estimators[J]. Econometrica, 1982, 50(4): 1029-1054. DOI:10.2307/1912775
[11]
ZHAO P X, ZHOU X S, LIN L. Empirical likelihood for composite quantile regression modeling[J]. Journal of Applied Mathematics and Computing, 2015, 48(1/2): 321-333.
[12]
ZHAO P X, ZHOU X S, LIN L. Robust empirical likelihood for partially linear models via weighted composite quantile regression[J]. Computational Statistics, 2018, 33(2): 659-674. DOI:10.1007/s00180-018-0793-z
[13]
LIANG K Y, ZEGER S L. Longitudinal data analysis using generalized linear models[J]. Biometrika, 1986, 73(1): 13-22.
[14]
JUNG S H. Quasi-likelihood for median regression models[J]. Journal of the American Statistical Association, 1996, 91(433): 251-257. DOI:10.1080/01621459.1996.10476683
[15]
YANG Y W, HE X M. Bayesian empirical likelihood for quantile regression[J]. The Annals of Statistics, 2012, 40(2): 1102-1131. DOI:10.1214/12-AOS1005
[16]
HE X M, SHAO Q M. A general Bahadur representation of M-estimators and its application to linear regression with nonstochastic designs[J]. The Annals of Statistics, 1996, 24(6): 2608-2630. DOI:10.1214/aos/1032181172
[17]
MOLANES LOPEZ E M, VAN KEILEGOM I, VERAVERBEKE N. Empirical likelihood for non-smooth criterion functions[J]. Scandinavian Journal of Statistics, 2009, 36(3): 413-432. DOI:10.1111/j.1467-9469.2009.00640.x
[18]
RAO C R. Linear statistical inference and its applications[M]. New York: John Wiley & Sons, 1973.