BTW ako netko mozga kako na lijep način ne regularizirati posljednji sloj bez da se radi nova loss funkcija, kolega @InCogNiTo124 mi je pokazao sljedeći način:
optimizer = torch.optim.SGD([
{"params": [*self.conv_1.parameters(),
*self.conv_2.parameters(),
*self.fc_1.parameters()], "weight_decay": weight_decay},
{"params": self.fc_2.parameters(), "weight_decay": 0}
], lr=1e-1)
s tim da mi je weight_decay = 1e-3 kao što je postavljeno u 2. zadatku.