linux平台gpu版本效率很低，不如cpu

[yourbikun]

经测试，onnxruntime版本为1.10使用cpu版本在linux平台推理单张图像时间为0.8s，而使用gpu推理后，时间达到了2.8s，gpu效率比cpu还低几倍，博主可以解释下吗，谢谢

[benjaminwan]

最好附上相关信息，这里没有任何信息，以下只能进行猜测：
GPU说的是cuda吧？onnxruntime也支持rocm或directml或openvino等多种GPU加速方式，这里就先假定是cuda。
https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#cuda-execution-provider
根据文档，onnxruntime 1.10 必须得搭配CUDA 11.4和cuDNN 8.2.4。

另外就是GPU或显卡是否有正确的驱动，首先 未装驱动会导致执行不正常，其次 nvidia不同版本的驱动可能绑定了不同的cuda版本也可能造成问题。

GPU型号也有影响，低端型号的gpu性能确实还不如高端CPU。

GPU加速 数据会走PCIE通道，来回传输数据 会比使用CPU 多耗费一些时间，只有在GPU性能远强于CPU时总耗时才能弥补回来。

[qing-shang]

最好附上相关信息，这里没有任何信息，以下只能进行猜测： GPU说的是cuda吧？onnxruntime也支持rocm或directml或openvino等多种GPU加速方式，这里就先假定是cuda。 https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#cuda-execution-provider 根据文档，onnxruntime 1.10 必须得搭配CUDA 11.4和cuDNN 8.2.4。

另外就是GPU或显卡是否有正确的驱动，首先 未装驱动会导致执行不正常，其次 nvidia不同版本的驱动可能绑定了不同的cuda版本也可能造成问题。

GPU型号也有影响，低端型号的gpu性能确实还不如高端CPU。

GPU加速 数据会走PCIE通道，来回传输数据 会比使用CPU 多耗费一些时间，只有在GPU性能远强于CPU时总耗时才能弥补回来。

windows11 onnxruntime1.20.0 directml 3080一样 cpu 100毫秒 gpu 400毫秒 什么问题导致的

[benjaminwan]

windows11 onnxruntime1.20.0 directml 3080一样 cpu 100毫秒 gpu 400毫秒 什么问题导致的

两年前，我试过onnxruntime+directml，当时甚至都没能跑起来。
那时我查了一下官方仓库的更新频度和issue，和对模型算子的支持程度，感觉跟cuda比实在差得太多。
根据你的描述，我感觉两年过去了，directml还基本是原地踏步半死不活。
别看是microsof的项目，microsoft大砍掉的项目也是不少。
别折腾了半天，最后还是一场空。