Applied Mathematics Seminar——高维回归模型的正则化参数选择研究

摘要:

现代科学技术的发展使得各个领域中产生了大量的高维数据,即样本特征量大于或远远大于样本数量的数据。为了处理高维数据,近年来有大量关于矩阵回归的正则化方法研究,即通过引入正则化参数将损失函数和正则项联合成为一个极小化的目标函数。众所周知,对于正则化方法中正则化参数的选择至关重要。 理论上,该参数刻画了模型解的特征(如低秩性、稀疏性等),从而决定了模型对数据的拟合效果;计算上,不同正则化参数下模型的计算代价和计算效果不一样。为加速正则化稳健线性回归模型及正则化矩阵回归模型中正则化参数的选择过程,本报告以对偶理论为基础利用不同的技巧建立其正则化参数选择规则,讨论其理论效果及数值结果。