在colab里跑书生大模型

1.8B(fp16情况下,3.35G)跑下来没有问题。

下图是20B模型(fp16情况下,37G),把环境搞宕机了,硬盘只有78G,我尝试挂载一块google drive上去是否可行。

计算逻辑

要计算使用 fp16(半精度浮点数)时 InternLM 20B 模型的大小,我们可以按照以下步骤进行:

参数数量:

InternLM 20B 模型包含 20B(20,000,000,000)个参数。
每个参数的大小:

在 fp16 模式下,每个浮点数占用 2 个字节(16 位)。
计算模型大小:

模型大小(字节) = 参数数量 × 每个参数的大小(字节)
模型大小(字节) = 20,000,000,000 × 2
模型大小(字节) = 40,000,000,000 字节
转换为常见单位:

1 GB = 1,073,741,824 字节
模型大小(GB) = 模型大小(字节) / 1,073,741,824
模型大小(GB) ≈ 40,000,000,000 / 1,073,741,824
模型大小(GB) ≈ 37.25 GB
结果
在 fp16 模式下,InternLM 20B 模型的大小约为 37.25 GB。

这个计算基于每个参数占用 2 个字节的假设,并且忽略了模型中的额外开销(例如优化器状态和其他元数据),所以实际的内存占用可能略高。