光华讲坛——社会名流与企业家论坛第5677期
主题:Goodness of Fit Testing for Binary Regression: How to Go beyond Hosmer–Lemeshow Test?
主讲人:明尼苏达大学杨宇红教授
主持人:统计学院统计研究中心 林华珍教授
时间:2019年12月25日(星期三)下午4:00-5:00
地点:西南财经大学柳林校区弘远楼408会议室
主办单位:统计研究中心 统计学院 科研处
主讲人简介:
杨宇红,中国科大数学学士,伊利诺伊大学统计硕士,耶鲁大学统计学博士,现为明尼苏达大学统计系教授及Director of Graduate Studies。他曾荣获美国国家科学基金会杰出青年教授奖(NSF CAREER Award),此奖项每年只有1-2名学者获此殊荣。并于2010年成为(国际)数理统计学会会士。曾主持美国自然科学基金项目4项。其研究兴趣包括高维数据分析理论、模型选择和组合、多臂老虎机问题(Multi-Arm Bandit)、精准医学统计、预测,并在这些领域建立了很多重要且深刻的理论和方法,他已发表论文70余篇,其中18篇为独立作者(single author)。这些论文发表在统计、机器学习、信息论、计量经济、预测、逼近论等领域顶尖刊物,如Annals of Statistics, JASA, Biometrika, JRSSB, IEEE Transactions on Information Theory, Journal of Econometrics, Journal of Approximation Theory, Journalof Machine Learning Research, and International Journal of Forecasting等,在Google Scholar上的引用多达4000多次。此外,杨教授还热心积极地做好各种学术服务工作:曾为统计期刊Annals of Statistics, Statistica Sinica和 JSPI的副主编;现为Annals of Institute of Statistical Mathematics,和Statistical Survey副主编。
主要内容:
Assessing a binary regression model based on ungrouped data is a commonly encountered but very challenging problem. Although tests, such as Hosmer–Lemeshow test, have been devised and widely used in applications, they often have low power in detecting lack of fit and not much theoretical justification has been made on when they can work well. In this talk, we will present two new approaches to address the problem.
The first approach is based on a cross-validation (CV) voting system: The model under examination is compared to a nonparametric method and a lack of fit is declared when the nonparametric method wins the competition. Under some mild conditions, the CV comparison leads to both type I and II error probabilities converging to zero.
The second approach intends to control the probability of type I error while enhancing the power. It directly addresses a core weakness of the popular Hosmer–Lemeshow test: Its grouping of observations to compare the fitted probabilities and the observed responses is rigid and not effective. The new methodology, named binary regression adaptive goodness-of-fit test (BAGofT), is a two-stage solution where the first stage adaptively selects candidate partitions using "training" data, and the second stage performs tests based on "test" data. A proper data splitting ensures that the test has desirable size and power properties. From our experimental results, BAGofT performs much better than the Hosmer-Lemeshow test in many situations.
The work is joint with Jie Ding, Chunling Lu and Jiawei Zhang. 基于未分组数据评估二进制回归模型是一个经常遇到但非常具有挑战性的问题。尽管已经设计并广泛使用了诸如Hosmer-Lemeshow检验之类的检验,但它们通常在检验拟合不足的power很低,且何时表现良好还没有足够的理论证明。 他们何时可以正常工作已经有了理论上的证明。 在本次演讲中,我们将介绍两种解决该问题的新方法。 第一种方法基于交叉验证(CV)投票系统:将正在检查的模型与非参数方法进行比较,并且当非参数方法在投票中获胜时就认为拟合不足。 在某些较弱的条件下,CV比较方法会导致I类和II类错误概率均收敛到零。 |
第二种方法旨在提高power的同时控制I类错误的可能性。 它直接解决了流行的Hosmer-Lemeshow检验的一个核心弱点:将观察值进行分组以比较拟合的概率和观察到的响应是僵化的且无效的。 新方法称为二元回归自适应拟合优度测试(BAGofT),是一种两阶段解决方案,其中第一阶段使用训练数据自适应地选择候选分区,第二阶段基于测试数据执行检验 。 适当的数据分割可确保检验具有理想的大小和power性质。 从我们的实验结果来看,BAGofT在许多情况下的性能要比Hosmer-Lemeshow测试好得多。