GPU 显存释放

我们在使用tensorflow 的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是ＧＰＵ的内存并没有释放，那么怎么解决该问题呢？

首先执行下面的命令：

fuser -v /dev/nvidia* #查找占用GPU资源的PID

因为我们只有一块显卡，所以显示如下图所示: 

可以看到我们的nvidia0上还有一个python 2.7的PID

然后我们执行：

kill -9 pid

然后再执行nvidia-smi就可以看到内存已经被释放了

GPU 显存实施查看：

但是有时我们希望不仅知道那一固定时刻的GPU使用情况，我们希望一直掌握其动向，此时我们就希望周期性地输出，比如每 10s 就更新显示。

这时候就需要用到 watch命令，来周期性地执行nvidia-smi命令了。

了解一下watch的功能：

$ whatis watch
watch(1) - execute a program periodically, showing output fullscreen

作用：周期性执行某一命令，并将输出显示。

watch的基本用法是：

$ watch [options] command

最常用的参数是 -n， 后面指定是每多少秒来执行一次命令。

监视显存：我们设置为每 10s 显示一次显存的情况：

$ watch -n 10 nvidia-smi

原文：https://blog.csdn.net/jasonzzj/article/details/52649174

查看是否使用GPU计算：

import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))

查看日志信息若包含gpu信息，就是使用了gpu。
其他方法：跑计算量大的代码，通过 nvidia-smi 命令查看gpu的内存使用量。