Debroon: 我真不记得了，我试着回答。 对于显存占用的计算，如果只是计算参数、梯度、梯度平方和优化器状态（如动量和方差）所需要的显存，那么计算方式需要详细考虑每个组件对应的数据类型和精度。下面我们纠正和明确这些计算： ### FP16精度（半精度）下的显存计算 在FP16精度下，每个数值占用2字节。包含的内容通常有： - **梯度**：需要2φ的存储，因为每个参数都有一个对应的梯度。 - **梯度平方**：在某些优化器（如Adam）中，同样需要2φ的存储。 - **优化器状态**：包括动量和方差，通常需要额外的4φ的存储（每个额外状态2φ）。 总的显存需求计算为： \[ 8φ \times 2 \text{字节} = 16φ \text{字节} \] 这意味着在FP16下，总显存需求是16φ字节。 ### FP32精度（单精度）下的显存计算 在FP32精度下，每个数值占用4字节。相应的存储需求也是： - **梯度**：2φ - **梯度平方**：2φ - **优化器状态**：4φ 总的显存需求计算为： \[ 8φ \times 4 \text{字节} = 32φ \text{字节} \] 这表明在FP32下，总显存需求是32φ字节。 所以，显存占用应该是： - 在FP16（半精度）下，总显存需求是 **16φ字节**。 - 在FP32（单精度）下，总显存需求是 **32φ字节**。 这些计算只考虑了参数、梯度、梯度平方和优化器状态的基本需求，未包括激活、权重本身或其他临时数据的显存需求。

Debroon: 我真不记得了，当初怎么想的。我试着回答。 在FP16精度下，基本的显存需求为8φ（包括梯度、梯度平方和优化器状态），但通常会达到16φ，因为还需额外考虑模型参数本身、激活存储以及其他临时变量和缓冲区的显存占用。

晓喻627: 请问微调的显存占用不应该是？ 在FP16（半精度）下，总显存需求是 8φ 字节。 在FP32（单精度）下，总显存需求是 16φ 字节。

晓喻627: 即 2φ + 2φ + 4φ = 8φ（FP16精度下）。然而说的是16φ（半精度）。大佬，请问一下FP16就是半精度，为啥又是16φ？

Debroon: 你看看能不能跟导师商量，改做眼底图像诊断。 1. 市场需求程度：眼表只能看几种病，眼底图像能看全身疾病（1000种疾病+200种慢病） 2. 数据程度：眼表图像很难收集，眼底图像1百万张高质量，还有专属眼底图像数据增强方法 3. 符合热点：还能用眼科大模型做，提升传统视觉模型没有的解释性，也能做出突破，怎么改进传统多模态大模型微小目标检测能力