CPP版本多核性能测试分析

[acely]

测试环境Rocky Linux 8，仅测试cpp版本结果（未测python版本）

简述：

在3台配置不同的机器上分别编译并测试，在fftw和onnxruntime版本都相同的前提下，识别同一个30分钟的音频文件，分别测试不同onnx线程数量的表现。

目前可以总结出大致规律：

• 并非onnx线程数越多越好
• 2线程比1线程提升显著，线程再多则提升较小
• 线程数等于CPU物理核心数时效率最好

实操建议：

• 大部分场景用3-4线程性价比最高
• 低配机器用2线程合适

[znsoftm]

不错，感谢

[cgisky1980]

onnxruntime 看来要快不少

[cgisky1980]

测试了一下 RK3588 加载模型的时间略长 推理速度快很多
这里线程数怎么改的？

[znsoftm]

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

[znsoftm]

测试了一下 RK3588 加载模型的时间略长 推理速度快很多 这里线程数怎么改的？

加载时间长这个是必然的，模型比较大，嵌入板emmc也慢。 不过推理时很快。

[cgisky1980]

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

看到了 thx 4线程正好是RK3588上跑最佳配置