光华讲坛——社会名流与企业家论坛第 期

(线上讲座）

主题：A Tuning-free Robust and Efficient Approach to High-dimensional Regression

主讲人：宾州州立大学李润泽教授

主持人：统计学院 林华珍教授

时间：2020年6月15日（周一）10:00-11:00

直播平台及会议ID：腾讯会议，270 361 013

主办单位：统计研究中心、数据科学与商业智能联合实验室和统计学院 科研处

主讲人简介：

   李润泽是宾州州立大学统计系教授。他的研究方向包括高维数据变量选择及统计推断，非参数和半参数建模和统计推断，统计在社会及行为科学研究的应用。他曾担任Annals of Statistics的主编。现在是Journal of American Statistical Association和其他刊物的副主编。他是IMS, ASA和 AAAS的fellow。他的其他荣誉，发表的文章等信息见在他的个人网页：http://www.personal.psu.edu/ril4/

内容提要：

We introduce a novel approach for high-dimensional regression with theoretical guarantees. The new procedure overcomes the challenge of tuning parameter selection of Lasso and possesses several appealing properties. It uses an easily simulated tuning parameter that automatically adapts to both the unknown random error distribution and the correlation structure of the design matrix. It is robust with substantial efficiency gain for heavy-tailed random errors while maintaining high efficiency for normal random errors. Comparing with other alternative robust regression procedures, it also enjoys the property of being equivariant when the response variable undergoes a scale transformation. Computationally, it can be efficiently solved via linear programming. Theoretically, under weak conditions on the random error distribution, we establish a finite-sample error bound with a near-oracle rate for the new estimator with the simulated tuning parameter. Our results make useful contributions to mending the gap between the practice and theory of Lasso and its variants. We also prove that further improvement in efficiency can be achieved by a second-stage enhancement with some light tuning. Our simulation results demonstrate that the proposed methods often outperform cross-validated Lasso in various settings.

本文提出了一种新的具有理论保证的高维回归方法。该方法克服了Lasso调节参数选择的困难，并具有许多吸引人的性质。它使用一个易于模拟的调节参数，自动适应未知的随机误差分布和设计矩阵的相关结构。对重尾随机误差具有很强的鲁棒性，同时对正态随机误差保持较高的效率。与其他稳健回归方法相比，它还具有响应变量进行尺度变换时的等变性。从计算上讲，它可以通过线性规划有效地求解。理论上，在随机误差分布的弱条件下，利用模拟的调节参数，本文建立了新估计量的有限样本误差界。本文的研究结果对弥补Lasso及其变体的理论与实践之间的差距做出了有益的贡献。文章还证明了通过一些光调谐的第二级增强可以进一步提高效率。模拟结果表明，在不同的设置下，所提出的方法往往优于交叉验证的Lasso。