光华讲坛——社会名流与企业家论坛第6331期

主 题：Optimal Distributed Subsampling Techniques for Big Data Analysis

主讲人：北京大学艾明要教授

主持人：统计学院林华珍教授

时间：2022年11月21日（周一）上午9:30-10:30

直播平台及会议ID：腾讯会议，ID: 411-387-844

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

北京大学数学科学学院统计学教授、博士生导师。兼任全国应用统计专业学位研究生教育指导委员会委员，中国现场统计研究会副理事长，试验设计分会理事长，高维数据统计分会副理事长，中国数学会普及与传播工作委员会委员，中国概率统计学会秘书长，中国数学会均匀设计分会副主任等。担任4个国际重要SCI期刊Statistica Sinica、JSPI、SPL和Stat的副主编，国内核心期刊 《系统科学与数学》、《数理统计与管理》编委，科学出版社《统计与数据科学丛书》编委。主要从事大数据采样理论与算法、试验设计与分析、计算机仿真试验与建模、应用统计的教学和研究工作，在AOS、JASA、Biometrika、《中国科学》等国内外重要期刊发表学术论文七十余篇。主持国家自然科学基金重点项目1项、面上项目5项，参与完成多项国家自然科学基金重点项目、面上项目和科技部重点研发计划项目等。

内容提要：

Subsampling methods are effective techniques to reduce computational burden and maintain statistical inference efficiency for big data. In this talk, we will review different subsampling techniques for different models from linear model, to generalized linear model, and to estimation equations. If the data volume is so large that nonuniform subsampling probabilities cannot be calculated all at once, subsampling with replacement is infeasible to implement. This problem is solved by using a new subsampling without replacement, called Poisson subsampling. To deal with the situation that the full data are stored in different blocks or at multiple locations, a distributed subsampling framework is developed, in which statistics are computed simultaneously on smaller partitions of the full data. Finally, the proposed strategies are illustrated and evaluated through numerical experiments on both simulated and real data sets.

子采样方法是减轻大数据计算负担和保持统计推断效率的有效方法。本次演讲中，主讲人将回顾不同模型的子采样技术，从线性模型，到广义线性模型，再到估计方程。如果数据量太大，不能一次性计算出非均匀子抽样概率，则无法实现有放回子采样技术。这个问题可以通过一种新的无放回子采样技术来解决，称为泊松子采样。针对完整数据存储在不同块或多个位置的情况，主讲人提出了一种分布式子采样框架，在该框架中，各小分区上同时计算统计量。最后，通过模拟数据集和实际数据集的数值实验对所提出的策略的表现进行了评估和解释。