OpenVINO GPU和NPU能用吗

[nzm001]

OpenVINO的GPU方案不知道推理速度比他的CPU方案如何。虽然内存问题还是没解决，但是只要在docker中使用即可，设置--memory 20g --memory-swap 20g --restart=always。是因为OpenVINO GPU效率不高所以没考虑吗？另外OpenVINO好像能用NPU，不知道可不可以？

顺便吐槽，一共20张图，Linux平台上的推理速度比Windows要快大概12％（纯CPU），OpenVINO CPU则是快了20％多。同一台电脑，新装机更新系统至最新，同Python3.12.3，Ubuntu 24.04对Windows 10，Windows特意看过没有在后台更新。

[SWHL]

一直没有过Intel GPU设备，所以不太清楚速度如何-_-!!!

[nzm001]

嗄，我也没有。第一台电脑就是推土机，上个月为了跑快点买了台二手intel+nv的笔记本才有第一个intel。没想到intel其实是最好用的那个，当然单论ocr。

intel openvino不需要任何多余的安装，效率可以接受。nv的cuda要装20多g，amd的rocm要装三四十g，这俩货装完以后万一升级还要重新装，删又删不干净，烦得要死。

改GPU或NPU是改infer_engine.py里的这一段吗？

compile_model = core.compile_model(model=model_onnx, device_name="CPU") # CPU替换为GPU或NPU

det的结果比CPU要少很多。

[SWHL]

RapidOCR/python/rapidocr_openvino/utils/infer_engine.py

Line 24 in 86ae3f5

compile_model = core.compile_model(model=model_onnx, device_name="CPU")

是的，只改过CPU,GPU参数要看看文档了。