OnnxRuntime C++不能使用CUDA的问题

问题描述:

当使用onnxruntime进行推理的时候发现使用的是cpu,而不是GPU

解决办法:

有可能是头文件和设置的问题

step1:头文件添加:

#include <onnxruntime_c_api.h>

#include <cuda_provider_factory.h>

step2:session设置:

Ort::SessionOptions session_options;

session_options.SetInterOpNumThreads(1);

session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);

参考连接:



onnxruntime的gpu怎么支持? · Issue #10 · DefTruth/lite.ai.toolkit · GitHub


版权声明:本文为whunamikey原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。