前言：
最近在看不同的代码，发现有几个地方存在疑惑，所以梳理一下。
1. model.eval() model.train()
2.volatile=True or false
3. requires_grad = True or false
4. with torch.no_grad():
这个几个地方用来操作或者限定tensor在训练或者测试阶段是否进行：求导，或者一些其他限定。
一、 model.eval() model.train()
官方文档
从红色的方框可以看出model.eval() = model.train(False)，那么再来看model.train()
几层意思：
1.等价关系
>> model.train() = model.train(True)
>>model.eval() = model.train(False)
2.这种命令只对特定的模块起作用，例如Dropout, BatchNorm, etc.
model的eval方法主要是针对某些在train和predict两个阶段会有不同参数的层。比如Dropout层和BN层。但是在查阅资料，没有找到除了这两个以外的其他的模块。
如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。
总结：model.eval() model.train()只对例如 Dropout, BatchNorm的起作用
二、volatile=True or false
该参数来源于：
torch.autograd.Variable(tensor,volatile=volatile)
该参数已经被废弃了，如果强行使用，会出现以下警示：
orch.autograd.Variable(tensor,volatile=True)
UserWarning: volatile was removed and now has no effect. Use `with torch.no_grad():` instead.
这个参数已经没有作用了。
三、requires_grad = True or false
使用该变量 torch.autograd.Variable(tensor,requires_grad=True or False)
指定要不要更新这个参数（通过梯度（迭代）来更新），对于不需要更新的参数，可以把它设定为False，可以加快运算。Variable默认是不需要求导的，即requires_grad属性默认为False，如果某一个节点requires_grad被设为True，那么所有依赖它的节点requires_grad都为True。
用户在手动定义Variable时，参数requires默认值是False。而在Module中的层在定义时，相关的Variable的requires_grad参数默认是True。在计算图中，如果有一个输入的requires_grad是True，那么输出的requires_grad也是True。只有在所有输入的requires_grad都为False时，输出的requires_grad才为False。
高阶使用请看文档：
requires_grad是一个标志，默认为 false除非包含在 a nn.Parameter中，它允许从梯度计算中细粒度地排除子图。(这句话是直接google翻译的，博主的理解是：在梯度计算的时候，可以很详细的指定哪些变量不求梯度，例如在微调模型的时候)它在向前和向后传递中都生效：
在前向传播期间，如果其输入张量中的至少一个需要计算梯度，则仅在后向图中记录操作。在后向传递（.backward（））期间，只有require_grad=True的叶张量才会在其.grad字段中累积梯度。
重要的是要注意，即使每个张量都有这个标志， 设置它只对叶张量有意义（叶张量：一个没有grad_fn的张量 ，例如 ann.Module的参数）。非叶张量（具有grad_fn的张量）是具有与其相关联的后向图的张量。因此，需要它们的梯度作为中间结果来计算需要 grad 的叶张量的梯度。从这个定义中，很明显所有非叶张量都会自动具有require_grad=True.
设置requires_grad应该是您控制模型的哪些部分是梯度计算的主要方式，例如，如果您需要在模型微调期间冻结部分预训练模型。
要冻结模型的某些部分，只需应用.requires_grad_(False)您不想更新的参数即可。如上所述，由于使用这些参数作为输入的计算不会记录在前向传递中，因此它们不会.grad在后向传递中更新其字段，因为它们首先不会成为后向图的一部分，如预期的。
因为这是一种常见的模式，requires_grad所以也可以在模块级别使用nn.Module.requires_grad_(). 应用于模块时，对模块的所有参数（默认.requires_grad_()具有）生效。requires_grad=True
四、with torch.no_grad()
官方文档：no_grad — PyTorch 1.12 documentation
禁用梯度计算的上下文管理器。
当您确定不会调用Tensor.backward(). 它将减少原本需要 requires_grad=True的计算的内存消耗。在这种模式下，每次计算的结果都会有 requires_grad=False，即使输入有requires_grad=True。这个上下文管理器是线程本地的(也就是说，这个是)；它不会影响其他线程中的计算。
最后、测试代码
import torch
from torch.autograd import Variable
'''
1.pytorch中的求导操作：
volatile=True or false 该参数已经不起作用了
'''
x1 = Variable(torch.ones(2, 2)*2, requires_grad=False)
x2 = Variable(torch.ones(2, 2)*3, requires_grad=True)
x3 = Variable(torch.ones(2, 2)*4, requires_grad=True)
print(x1)
print(x2)
print(x3)
print("---------")
# print(x1.data)
y = x1*x3 + x2
t_1 = y.sum()
print(y)
t_1.backward()
print(x1.grad)
print(x2.grad)
print(x3.grad)