- 深度学习之模型优化:核心算法与案例实践
- 言有三
- 276字
- 2024-07-24 13:24:06
2.1.2 参数量
参数量,泛指模型中可以训练与不能训练的所有参数的数量。例如,AlexNet模型包含了约60MB参数,如果使用32bit浮点数进行存储,则实际占用的存储空间为240MB。
对于一个正常的卷积层,假如输入特征图大小为Hin×Win,通道数为Cin,输出特征图大小为Hout×Wout,通道数为Cout,卷积核大小为K×K,则参数量为Cout×Cin×K×K。
参数量小,则占用内存小,移动端使用的模型对参数量大小比较敏感。可以使用一些工具来统计模型的参数量,这里以PyTorch summary工具为例。它不仅可以统计模型的参数量,还可以统计输入数据及模型在前向运行过程中需要的参数量,使用方法如下。
表2.1是simpleconv3模型参数量统计结果。
表2.1 simpleconv3模型参数量统计结果