模型·大小对比

[dan123yi]

请问作者的模型大小对比图怎么得到的，我每次改变量化bit后保存的模型大小都一样

[YangNuoCheng]

我也有同样的问题，比如我们使用4bit的量化，量化结果是16个，但它们的值还保持浮点数形式，这样真的可以压缩模型的大小吗？

[dan123yi]

收到

[dan123yi]

作者说了量化是op级的，也就是在推理的时候权重才会被量化

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2021年12月17日(周五) 下午4:08 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [666DZY666/micronet] 模型·大小对比 (Issue #99) 我也有同样的问题，比如我们使用4bit的量化，量化结果是16个，但它们的值还保持浮点数形式，这样真的可以压缩模型的大小吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you authored the thread.Message ID: ***@***.***>

[YangNuoCheng]

这个op级是什么意思呀，意思是使用tensorrt做加速的时候可以自动的把模型量化到对应的整数吗？
量化新手，感谢回复！

[dan123yi]

op就是加减乘除运算

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2021年12月17日(周五) 下午5:04 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [666DZY666/micronet] 模型·大小对比 (Issue #99) 这个op级是什么意思呀，意思是使用tensorrt做加速的时候可以自动的把模型量化到对应的整数吗？ 量化新手，感谢回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you authored the thread.Message ID: ***@***.***>

[666DZY666]

这个仓库是做量化训练的，模型都是浮点表示的。给出的数据里模型大小是自己理论计算的，这个计算可以搞成代码，大家可以写写加进来。

[rourou8023]

@dan123yi 您好，麻烦问下，量化后的模型，应该怎么处理呢？我二值化训练之后的模型依然是浮点型的，怎么修改为二值呢？

[dan123yi]

我也想问:sob::sob::sob: