我的显卡为3060,20G的显存,为什么我本地部署chatglm3 | 您所在的位置:网站首页 › 20g显存的显卡 › 我的显卡为3060,20G的显存,为什么我本地部署chatglm3 |
显卡的显存只是一个影响文本生成速度的因素,不是唯一的影响因素。除了显存外,文本生成速度还受到模型大小、计算能力、代码实现等多个方面的影响。 首先,chatglm3-6b是一个基于GPT-3模型的文本生成模型,模型大小达到了6亿多个参数,需要比较高的计算能力才能够快速生成文本。如果您的计算机性能不足,生成速度就会比较慢。 其次,代码实现也对文本生成速度有影响。如果代码实现不够优化,或者存在一些性能瓶颈,也会导致文本生成速度变慢。 |
CopyRight 2018-2019 实验室设备网 版权所有 |