Notes on Section 4.5

bobown_yao
  2025-12-25 2025-12-25 Created   2026-01-17 16:18:07 2026-01-17 16:18:07 Updated      204 Words  1 Mins

权重衰减，也通常被称为L2正则化

在4.4中我们会发现参数过多，过于复杂的参数组会导致过拟合。所以这自然引出了我们要控制权重复杂度的想法，而首先我们就应该获得当前权重的复杂度。这里的方法就是通过函数与零的距离来衡量函数的复杂度

Image: image_001

这里的操作方法也非常直观，就是在计算损失函数的时候为复杂权重增加一个“惩罚项”

这里有必要说明一下为什么使用L2正则化

Image: image_002

Image: image_003

可以看出，L2正则化本身更加的泛化

最终的梯度下降更新公式

Image: image_004

实现方面只要在基础的线性层上更改就可以

Image: image_005

Image: image_006

  • Title: Notes on Section 4.5
  • Author: bobown_yao
  • Created at : 2025-12-25 00:00:00
  • Updated at : 2026-01-17 16:18:07
  • Link: https://bobownyao.github.io/2025/12/25/Notes-on-Section-4-5/
  • License: All Rights Reserved © bobown_yao
On this page
Notes on Section 4.5