大模型运行推理显存计算器

大模型的显存占用主要取决于以下几点：

本页面的大模型显存尽显推理阶段，不包括训练阶段，训练阶段需要十几倍甚至二十倍的显存。所以本页得出的显存容量只是最小显存容量的参考值，不能确保一定可以完美运行大模型推理。

模型训练时的显存占用影响因素：参数量、梯度、优化器参数、样本大小、BatchSize。由于训练模型的大佬已经比较熟悉原理了，这个工具就没有什么用了，所以不提供训练模型的显存计算。