光华讲坛——社会名流与企业家论坛第6358期

主 题：A Correlation-Ratio Transfer Learning and Variational Stein's Paradox

主讲人：山东大学林路教授

主持人：统计学院林华珍教授

时间：2022年11月29日（周二）上午9:30-10:30

直播平台及会议ID：腾讯会议，ID: 124-288-539

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

林路是山东大学中泰证券金融研究院教授、博士生导师，第一和第二届教育部应用统计专业硕士教育指导委员会成员，山东省教育厅应用统计专业硕士教育指导委员会成员，山东省政府参事。从事大数据、高维统计、非参数和半参数统计以及金融统计等方面的研究，在国际统计学、机器学习和相关应用学科顶级期刊（包括Ann. Statist., JMLR, 《中国科学》）和其它重要期刊发表研究论文120余篇；多个金融策略资政报告得到省长的正面批示；主持过多项国家自然科学基金课题、全国统计科学研究重大项目、教育部博士点专项基金课题、教育部新文科课题、山东省自然科学基金重点项目等；获得国家统计局颁发的全国统计优秀研究成果一等和二等奖，山东省优秀教学成果一等奖(均排名第一)。

内容提要：

A basic condition for efficient transfer learning is the similarity between the target model and source models. In practice, however, the similarity condition is difficult to meet or is even violated. Instead of the similarity condition, a bran-new strategy, linear correlation ratio, is introduced in this paper to build an accurate relationship between the models. Such a correlation ratio can be easily estimated by historical data or historical characteristics of permanent variables. Then, an accurate transfer learning likelihood is established based on the correlation ratio combination. On the practical side, the new framework is applied to some application scenarios, specially the area of data streams. Methodologically, some techniques are suggested for transferring the information from simple source models to a relatively complex target model. Theoretically, some favorable properties, including the global convergence rate, are achieved, even for the case where the source models are not similar to the target model. All in all, it can be seen from the theories and experimental results that the inference on the target model is significantly improved by the information from similar or dissimilar source models, and it is somewhat surprising that a related phenomenon of Stein's paradox is illustrated.

有效迁移学习的一个基本条件是目标模型与源模型之间的相似性。但在实际应用中，相似性条件难以满足，甚至被违反。本文采用一种全新的线性相关比策略来代替相似度条件来建立模型之间的精确关系。这种相关比可以很容易地通过历史数据或永久变量的历史特征来估计。然后，基于相关比组合建立准确的迁移学习似然。在实践方面，新框架应用于一些应用场景，特别是数据流领域。在方法上，提出了一些将信息从简单的源模型转移到相对复杂的目标模型的技术。理论上，即使在源模型与目标模型不相似的情况下，也可以实现一些有利的性质，包括全局收敛速度。总而言之，从理论和实验结果可以看出，来自相似或不相似源模型的信息显著提高了对目标模型的推理能力，并令人惊讶地说明了斯坦因悖论的一个相关现象。