逻辑回归和多项式模型

逻辑回归

在推荐领域CTR预估任务中，最常用到的模型baseline就是LR，对数据进行特征工程，构造出大量但特征，编码后送入模型，这种线性模型的优点在于，运算速度快，可解释性强，在特征挖掘完备且训练数据充分的前提下能达到一定精度，但缺点也很明显

• 模型未考虑特征之间的关系，在实践经验中，对特征进行交叉组合往往能更好地提升模型的效果
• 对于多取值的分类特征进行one-hot编码，具有高度稀疏性，带来维度灾难的问题

FM模型就是针对在特征组合过程中遇到上述问题而提出的一种高效的解决方案，由于FM的性能表现，后续出现了一系列FM模型的变种

多项式模型

多项式模型形式

考虑到一个模型，它的输出由单特征和组合特征的线型组合构成，如果不看二次项，就是一个线性回归模型，现在引入交叉项

$y(x) = \omega_{0} + \Sigma \omega_{i} x_{i} + \Sigma\Sigma \omega_{ij}x_{i}x_{j}$

其中单特征参数由$n$个，组合特征的参数有$n(n-1)/2$个，虽然这种形式显式地刻画特征间的关系，但对于公式求解带来困难

交叉项参数训练问题

假设目标函数$L(y, f(x))$，为了使用梯度下降训练交叉项参数，需要求导

$\frac{\partial L}{\partial \omega_{ij}} = \frac{\partial L}{\partial f(x)} * \frac{\partial f(x)}{\partial \omega_{ij}} = \frac{\partial L}{\partial f(x)} *x_{i}x_{j}$

也就是每个二次项参数训练需要$x_{i}x_{j}$同时非零，如果矩阵稀疏，则导致训练无法进行

因此需要一种方法，使得参数的求解不受稀疏性的影响

因此 FM模型(因子分解机) 被提出。