你的模型到底有多少参数,每秒的浮点运算到底有多少,这些你都知道吗?近日,GitHub 开源了一个小工具,它可以统计 PyTorch 模型的参数量与每秒浮点运算数(FLOPs).有了这两种信息,模型大小控制也就更合理了. 其实模型的参数量好算,但浮点运算数并不好确定,我们一般也就根据参数量直接估计计算量了.但是像卷积之类的运算,它的参数量比较小,但是运算量非常大,它是一种计算密集型的操作.反观全连接结构,它的参数量非常多,但运算量并没有显得那么大. 此外,机器学习还有很多结构没有参数但存在计算,例…