NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.

NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running

服务器重启过后，显卡失效。
使用nvidia-smi命令，显示报错如下：

使用nvcc -V查看CUDA还在

接下来可以使用

ls /usr/src | grep nvidia

查看自己安装的nvidia版本

然后需要cd到/usr/src目录下，执行如下命令

sudo apt install dkms

接着根据你自己的nvidia版本进行安装（我自己的是510.60.02）

sudo dkms install -m nvidia -v 510.60.02

安装nvidia的时候可能会报错

安装高版本的gcc 即可解决这个问题（此处省略这个步骤）
接着就能正常执行啦

nvidia-smi恢复正常