Xavier平台算力计算

2023-03-11 12:57| 来源: 网络整理| 查看: 265

以Xavier AGX(16GB)平台为例，此平台官方宣称算力为30TOPS，因此分析此理论算力的来源。

1- 参考资料算力名词解释https://mp.weixin.qq.com/s/kCWqUqfMdImTsli5TsOkTATOPS等计算方法https://mp.weixin.qq.com/s/jwPC37inXtCDAsu-bbvu-ghttps://mp.weixin.qq.com/s/oHW6xx26TU5SVaf01NQYVg2- Xavier算力计算OPS(Operations Per Second)：每秒完成操作的数量，乘操作算一个OP，加操作算一个OP。1TOPS表示每秒进行1万亿次操作。OPS主要是深度学习的算力单位。MACS：表示每秒可执行的定点乘累加操作次数，用于衡量自动驾驶计算平台定点数据运算处理能力。1GMACS等同每秒10亿次的定点乘累加运算。Ops/s（每秒完成的操作数量）指的是通过每秒可以完成多少个MAC（每次乘法和累加各被认为是1个operation，因此MAC实际上是 2 个 OP）得到，即1 MAC=2 OPS。FLOPS（Floating-Point Operations Per Second）：每秒可执行的浮点运算次数的字母缩写，它用于衡量计算机浮点运算处理能力。浮点运算，包括了所有涉及小数的运算。浮点运算比整数运算更复杂、更精确、更耗费时间。2-1 TOPS计算方法理论峰值＝ GPU芯片数量＊GPU Boost主频＊核心数量＊单个时钟周期内能处理的浮点计算次数。理论值取决于运算精度、MAC的数量和运行频率。可大致简化为INT8精度下的MAC数量在FP16精度下等于减少了一半。FP32再减少一半，依次类推。假设有512个MAC运算单元，运行频率为1GHz，INT8的数据结构和精度，算力为512 x 2 x 1 GHz = 1000 Billion Operations/Second = 1 TOPS(Tera-Operations/second)。FP16精度那么就是0.5TOPS，FP32精度就是0.25TOPS。英伟达的Tesla V100有640个Tensor核，每核有64个MAC运算单元，运行频率大约1.480GHz，那么INT8下算力为640 * 64 * 2 * 1.480 GHz=121TOPS。2-2 Xavier相关参数由与计算

2-2-1 GPU算力

因此：以最大功率30W, INT8为例，GPU的TOPS=1*1.37G*512*16*2=22446.08G(约22TOPS)，FP16约INT8一半。

GPU芯片数1GPU Boost主频1.37GHz核心数量512每一个核心MAC16单个时钟周期内能处理的浮点计算次数2

2-2-1 DLA算力

DLA算力标称5TOPS/DLA, xavier共有两个DLA，一共10TOPS，没有查到DLA具体参数，还不清楚如何详细计算其算力

因此Xavier总共约30TOPS算力

3-模型算力估算

以FPS=30为例：

模型做一次推理需要的算力为MAdd，在FPS实时的情况下，估算一秒模型需要的算力。

57.06*30=1711.8GFLops

【本文地址】

公司简介

联系我们