西南财经大学统计研究中心系列讲座(第440期)

中国人民大学朱利平教授:Phase transition of generalization error in ridge dimension reduction

主题:Phase transition of generalization error in ridge dimension reduction

主讲人:中国人民大学朱利平教授

主持人:统计与数据科学学院林华珍教授

时间:2026年11月13日(周五)下午14:30-15:30

地点:柳林校区弘远楼408会议室

主办单位:统计与数据科学学院和统计研究中心 科研处


主讲人简介:

中国人民大学长聘教授、研究员、博士生导师,学校和学部学术委员会委员,统计与大数据研究院院长,人民教育出版社普通高中教科书《数学》(B)版第一册联合主编,国家重点研发计划首席科学家,兼任中国现场统计研究会生存分析分会理事长和高维数据统计分会副理事长等。先后受邀担任国际统计学领域顶级学术期刊AoS、国际权威学术期刊Stat Sinica、JMVA和SII等副主编,以及国内统计学领域顶级学术期刊《中国科学·数学》(中、英文版)、《系统科学与数学》(中、英文版)和《应用概率统计》等青年编委、编委和副主编等。长期从事大数据统计学基础理论、方法和应用研究。1、在高维度大数据领域,提出不依赖于切片数的累积切片估计方法、不依赖于分布条件的半参数降维方法和不依赖于模型的变量筛选方法,解决了充分降维领域“公开问题”,被认为是该领域“突破性进展”,被列为变量筛选领域“基准方法”。2. 在非线性大数据领域,提出投影相关系数度量非线性相关关系,广泛应用于类脑科学和天文学等研究中;原创性提出区间分位数相依基本思想,扩宽了(分布)独立基本概念并建立了(分布)独立与分位数独立和均值独立的联系。3.在大数据应用领域,主持开发的虚假诉讼预警甄别系统已经在四川省高级人民法院和成都市中级人民法院等10家法院部署应用示范,参与编写的人民法院信息化标准《民事案件信息技术规范》已被最高人民法院发布实施。


内容提要:

Double descent is an intriguing phenomenon in high-dimensional data analysis.While \citet{hastie2022surprises} established a theoretical explanation in parametric linear models, analogous behavior remains less understood in model-free settings. This is particularly true in the context of sufficient dimension reduction, where dependence structures can be highly nonlinear and generalization error is not restricted to mean prediction. We study ridge dimension reduction under the proportional asymptotic regime\(p/n\to\gamma\) and propose a trace criterion to quantify generalization error, where \(p\) and \(n\) denote the covariate dimension and sample size, respectively. This criterion allows us to assess the pure effect of the ridge parameter \(\lambda\). Under weak regularization, the generalization error rises when \(\gamma<1\), peaks near\(\gamma=1\), and falls for \(\gamma>1\). This phase transition mirrors the double descent phenomenon. We further show that ridge regularization can yield lower generalization error than the unregularized estimator. Extensive numerical results not only support our theoretical investigations but also indicate that the double descent phenomenon can be observed as long as the kernel matrix, denoted \(\widehat{\bLambda}\), takes the form \(\widehat{\bLambda}=n^{-1}\bX\trans\bH\bX\), where \(\bH\) is not an explicit function of the covariate observations \(\bX\) and satisfies \(\|\bH\|_F^2=O_p(1)\).


下一条:中国科学院数学与系统科学研究院李启寨教授:Rank-based dependence and conditional dependence measure.