Regularization

  • shrink the parameter values

L2 正则化: Ridge

在原始的损失函数上加上 L2\mathcal{L}_2 Penalty

JRidge=J(θ)+αθ22 J_{Ridge}=J(\theta)+\alpha\cdot\|\theta\|_2^2

L1 正则化: LASSO

加上 L1\cal L_1 Penalty

JLASSO=J(θ)+αθ J_{LASSO}=J(\theta)+\alpha\cdot\|\theta\|
  • 有些权重容易变成 00

折中: Elastic Net

λ\lambda 控制比例,α\alpha 控制正则程度

JElastic=J(θ)+α[λθ2+(1λ)θ] J_{Elastic}=J(\theta)+\alpha\cdot\Bigg[ \lambda\|\theta\|^2+(1-\lambda)\|\theta\| \Bigg]