常用工程技术积累-（3）

pytorch hook模块

参考材料1
在这里插入图片描述

  1. Torch.Tensor.register_hook,

在这里插入图片描述2. torch.nn.Module.register_backward_hook,
获取网络中间层的梯度
在这里插入图片描述

  1. torch.nn.Module.register_forward_hook,
    获取网络中间层的输出特征在这里插入图片描述

  2. torch.nn.Module.register_forward_pre_hook
    在这里插入图片描述
    获取网络中间层的输入特征

python查询

题目：给定两个List变量A和B，找出在A中存在的元素但在B中不存在的元素，输出。
Set(), map(), hashtable
参看链接1

  1. set()
    在这里插入图片描述
  2. map()
    在这里插入图片描述

python语言等基础回顾学习网站

参考链接2

Batch Normalization和layer Normalization的区别

参考链接1
深度学习的五种归一化
在这里插入图片描述

参考链接2

多看pytorch官方函数文档

参考链接3

版权声明：本文为david8766原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。