- 博客(1)
- 收藏
- 关注
RSS订阅原创 pytorch如何使用半精度模型部署
背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外,最近也把pytorch应用在了部署上.在部署时,为了减少计算量,可以考虑使用16位浮点模型,而训练时涉及到梯度计算,需要使用32位浮点,这种精度的不一致经过测试,模型性能下降有限,可以接受.但是推断时计算量可以降低一半,同等计算资源下,并发度可提升近一倍具体方法在pytorch中,一般模型定义都...
2020-04-25 13:04:06
5470
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人