Regularization shrink the parameter values L2 正则化: Ridge 在原始的损失函数上加上 L2\mathcal{L}_2L2 Penalty JRidge=J(θ)+α⋅∥θ∥22 J_{Ridge}=J(\theta)+\alpha\cdot\|\theta\|_2^2 JRidge=J(θ)+α⋅∥θ∥22 L1 正则化: LASSO 加上 L1\cal L_1L1 Penalty JLASSO=J(θ)+α⋅∥θ∥ J_{LASSO}=J(\theta)+\alpha\cdot\|\theta\| JLASSO=J(θ)+α⋅∥θ∥ 有些权重容易变成 000 折中: Elastic Net λ\lambdaλ 控制比例，α\alphaα 控制正则程度 JElastic=J(θ)+α⋅[λ∥θ∥2+(1−λ)∥θ∥] J_{Elastic}=J(\theta)+\alpha\cdot\Bigg[ \lambda\|\theta\|^2+(1-\lambda)\|\theta\| \Bigg] JElastic=J(θ)+α⋅[λ∥θ∥2+(1−λ)∥θ∥]
