Classify Leveas

基于 resnet 只做简单的数据增强，训练集和验证集为 5:5，可达到的精度是 81.5%
算法经过优化后，精度可达 94.5%

优化内容

数据增强，训练集占比 0.5

acc 达 81.5%

其中，数据增强：随机水平翻转 / 随机垂直翻转 / 随机裁剪

整个数据集为 18k，即训练集为 9K
训练集占比调整： 0.5 $\to$ 0.8

acc 升至 88.1%
优化器调整：sgd $\to$ Adam

acc 再升至 90.2%
学习率降低：1e3 $\to$ 1e4

acc 再升至 94.5%

训练环境

colab pro
框架：PyTorch

竞赛：Classify Leaves | Kaggle

参考：simple resnet baseline | Kaggle

坑

resnet18 + weight decay 的训练速度很慢

train acc 85% 左右，就很慢了，20 epochs ，train acc 只提升 2 各点，比没有 weight decay 的 resnet18 的提升慢很多

分析：resnet18 本身的训练精度可达到 99%，所以模型容量是够大的。应该是 weight decay 限制了 w 的取值范围，导致 resnet18 的模型容量变得不够大，则训练集的精度提升就很慢了