问题描述:
当使用onnxruntime进行推理的时候发现使用的是cpu,而不是GPU
解决办法:
有可能是头文件和设置的问题
step1:头文件添加:
#include <onnxruntime_c_api.h>
#include <cuda_provider_factory.h>
step2:session设置:
Ort::SessionOptions session_options;
session_options.SetInterOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);
参考连接:
onnxruntime的gpu怎么支持? · Issue #10 · DefTruth/lite.ai.toolkit · GitHub
版权声明:本文为whunamikey原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。