FP 16量化推理的结果不一致的原因

(抛砖引玉)TensorRT的FP16不得劲？怎么办？在线支招！

模型中某一层的计算FP 16因为动态范围和精度不够，导致某个OP节点的计算值溢出。迁一发而动全身，整个模型后面的所有层都崩塌了。

TensorRT只是加速，对精度有影响吗？

TensorRT有多个方式进行inference加速，一个是layer的融合，这个是没有精度损失的；另外还可以采用低精度的FP 16 INT 8计算，FP 16基本没有精度损失，INT 8需要做量化，这时候会有很高的加速，精度损失也很小。

相同机器，运行同一个程序，前后两次运行结果不一致？

关于tensorRT中遇到的几个问题

程序运行中出现随机现象，比如变量随机初始化。

不同机器，相同代码，相同模型，相同测试图片，运行结果不一致？

同一份代码，如果保证是三方库是一样的，绝不会出现一样的结果。要么就是针对不同的平台，相同版本的三方库的实现也是不一样的。