两层卷积神经网络nn.Conv2d参数调整

最近在学习卷积神经网络,看了一些入门知识,找了一个简单的卷积神经网络代码来跑,跑成功了,有两个卷积层,想着如果给它再加一层卷积层,会怎样,然后发现得调整nn.Conv2d里面的参数,经过别人是指导终于有了一些思路,以此记录一下,分享给大家。
先把我的完整代码放上来,再分片段来说。

# 手写数字识别--MNIST数据集--卷积
# 准确率:99%

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
# 定义参数
BATCH_SIZE = 512  # 大概需要2G的显存
EPOCHS = 20  # 总共训练批次数
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")  # 让torch判断是否使用GPU,建议使用GPU环境,因为会快很多

# 读取数据
# 训练集数据
train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('data', train=True, download=True,
                   transform=transforms.Compose([
                       transforms.ToTensor(),
                       transforms.Normalize((0.1307,), (0.3081,))
                   ])),
    batch_size=BATCH_SIZE, shuffle=True)
# 测试集数据
test_loader = torch.utils.data.DataLoader(
    datasets.MNIST('data', train=False, transform=transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize((0.1307,), (0.3081,))
    ])),
    batch_size=BATCH_SIZE, shuffle=True)


# 定义卷积神经网络
class ConvNet(nn.Module):
    def __init__(self):
        super().__init__()
        # batch*1*28*28(每次会送入batch个样本,输入通道数1(黑白图像),图像分辨率是28x28)
        # 下面的卷积层Conv2d的第一个参数指输入通道数,第二个参数指输出通道数,第三个参数指卷积核的大小
        self.conv1 = nn.Conv2d(1, 10, 5)  # 输入通道数1,输出通道数10,核的大小5
        self.conv2 = nn.Conv2d(10, 20, 3)  # 输入通道数10,输出通道数20,核的大小3
        # 下面的全连接层Linear的第一个参数指输入通道数,第二个参数指输出通道数
        self.fc1 = nn.Linear(20 * 10 * 10, 500)  # 输入通道数是2000,输出通道数是500
        self.fc2 = nn.Linear(500, 10)  # 输入通道数是500,输出通道数是10,即10分类

    def forward(self, x):
        in_size = x.size(0)  # 在本例中in_size=512,也就是BATCH_SIZE的值。输入的x可以看成是512*1*28*28的张量。
        out = self.conv1(x)  # batch*1*28*28 -> batch*10*24*24(28x28的图像经过一次核为5x5的卷积,输出变为24x24)
        out = F.relu(out)  # batch*10*24*24(激活函数ReLU不改变形状))
        out = F.max_pool2d(out, 2, 2)  # batch*10*24*24 -> batch*10*12*12(2*2的池化层会减半)
        out = self.conv2(out)  # batch*10*12*12 -> batch*20*10*10(再卷积一次,核的大小是3)
        out = F.relu(out)  # batch*20*10*10
        out = out.view(in_size, -1)  # batch*20*10*10 -> batch*2000(out的第二维是-1,说明是自动推算,本例中第二维是20*10*10)
        out = self.fc1(out)  # batch*2000 -> batch*500
        out = F.relu(out)  # batch*500
        out = self.fc2(out)  # batch*500 -> batch*10
        out = F.log_softmax(out, dim=1)  # 计算log(softmax(x))
        return out


model = ConvNet().to(DEVICE)  # 将网络放到GPU设备上
optimizer = optim.Adam(model.parameters())  # 优化器直接选择Adam


# 训练函数
def train(model, device, train_loader, optimizer, epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        data, target = data.to(device), target.to(device)
        optimizer.zero_grad()
        output = model(data)
        loss = F.nll_loss(output, target)
        loss.backward()
        optimizer.step()
        if (batch_idx + 1) % 30 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                       100. * batch_idx / len(train_loader), loss.item()))
# 测试函数
def test(model, device, test_loader):
    model.eval()
    test_loss = 0
    correct = 0
    with torch.no_grad():
        for data, target in test_loader:
            data, target = data.to(device), target.to(device)
            output = model(data)
            test_loss += F.nll_loss(output, target, reduction='sum').item()  # 将一批的损失相加
            pred = output.max(1, keepdim=True)[1]  # 找到概率最大的下标
            correct += pred.eq(target.view_as(pred)).sum().item()

    test_loss /= len(test_loader.dataset)
    print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
        test_loss, correct, len(test_loader.dataset),
        100. * correct / len(test_loader.dataset)))
# 开始训练
# 每一个epoch,查看一次trian数据集和test数据集的精度。
for epoch in range(1, EPOCHS + 1):
    train(model, DEVICE, train_loader, optimizer, epoch)
    test(model, DEVICE, test_loader)

现在来看下面的这段代码:

    def __init__(self):
        super().__init__()
        # batch*1*28*28(每次会送入batch个样本,输入通道数1(黑白图像),图像分辨率是28x28)
        # 下面的卷积层Conv2d的第一个参数指输入通道数,第二个参数指输出通道数,第三个参数指卷积核的大小
        self.conv1 = nn.Conv2d(1, 10, 5)  # 输入通道数1,输出通道数10,核的大小5
        self.conv2 = nn.Conv2d(10, 20, 3)  # 输入通道数10,输出通道数20,核的大小3
        # 下面的全连接层Linear的第一个参数指输入通道数,第二个参数指输出通道数
        self.fc1 = nn.Linear(20 * 10 * 10, 500)  # 输入通道数是2000,输出通道数是500
        self.fc2 = nn.Linear(500, 10)  # 输入通道数是500,输出通道数是10,即10分类

    def forward(self, x):
        in_size = x.size(0)  # 在本例中in_size=512,也就是BATCH_SIZE的值。输入的x可以看成是512*1*28*28的张量。
        out = self.conv1(x)  # batch*1*28*28 -> batch*10*24*24(28x28的图像经过一次核为5x5的卷积,输出变为24x24)
        out = F.relu(out)  # batch*10*24*24(激活函数ReLU不改变形状))
        out = F.max_pool2d(out, 2, 2)  # batch*10*24*24 -> batch*10*12*12(2*2的池化层会减半)
        out = self.conv2(out)  # batch*10*12*12 -> batch*20*10*10(再卷积一次,核的大小是3)
        out = F.relu(out)  # batch*20*10*10
        out = out.view(in_size, -1)  # batch*20*10*10 -> batch*2000(out的第二维是-1,说明是自动推算,本例中第二维是20*10*10)
        out = self.fc1(out)  # batch*2000 -> batch*500
        out = F.relu(out)  # batch*500
        out = self.fc2(out)  # batch*500 -> batch*10
        out = F.log_softmax(out, dim=1)  # 计算log(softmax(x))
        return out

对于第一个卷积层self.conv1 = nn.Conv2d(1, 10, 5) ,因为图像为黑白的,所以输入通道为1,而输出通道是10为自定义的,卷积核大小为5是自定义,自定义的内容不讨论,我也没有经验。此时输出数据大小变为28-5+1=24,即28x28>24x24。而且此时的通道数等于卷积核是数量为10,也就是输出通道数,所以batchx1x28x28 -> batchx10x24x4。

卷积之后,是一个relu函数,不改变参数大小,接下来是池化,out = F.max_pool2d(out, 2, 2),用的是2x2是卷积核,步长为2,也是自定义,不讨论,自己设。但是池化会改变通道数,2x2的池化层会减半,所以batchx10x24x24 -> batchx10x12x12。

因为第一个卷积层的输出通道数等于第二个卷积层是输入通道数,所以第二个卷积层self.conv2 = nn.Conv2d(10, 20, 3),有10个输入通道数,输出通道数20和卷积核为3都为自定义,不讨论,自己设。此时输出数据大小变为12-3+1=10,即12x12>10x10。而且此时的通道数等于卷积核是数量为20,也就是输出通道数,所以 batchx10x12x12 -> batchx20x10x10。

两个卷积层处理结束了,输出数据为20x10x10,传递给全连接层,所以self.fc1 = nn.Linear(20 * 10 * 10, 500),即20x10x10, 500是自定义不讨论。第二个全连接层的输入通道数等于第一层全连接层的输出通道数500。最后结果需要分类为几个就是几个输出通道数,此例为10。
这是最基础最简单是一个卷积神经网络的例子,我还需要学习更多,如果有不清楚的地方,欢迎指正提问~


版权声明:本文为sinat_40547901原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。