百度Paddle免费课程——从零开始学视觉Transformer

• 本学习笔记来源于百度Paddle免费课程从零开始学视觉Transformer：如果有时间建议大家去看至少两遍，干货很多。链接：
  https://aistudio.baidu.com/aistudio/course/introduce/25102
• 本次的课程代码都在：https://github.com/BR-lDL/PaddleViT
• 我的学习笔记：记录一些内容以及PPT，以及实现代码。
• 十一次课的学习笔记，写在了这个专栏里。因为我没有用CSDN直接写，而是用Typora写的，可以导出为word和pdf格式，可以不订阅专栏阅读笔记，直接在文末百度云链接自取嗷～文末有链接

课程内容如下：

• 课程一：实现ResNet18（残差网络）
  1. Why Transformer？
  2. 实现ResNet18代码：
• 课程二：图像与Transformer基础
  1. 数字图像：图像和像素
  2. 实现Tensor使用
  3. 实现Patch Embedding：
• 课程三：视觉问题中的注意力机制
  1. Vision Transformer回顾
  2. Attention注意力机制
  3. 实现Multi-Head Self Attention：
• 课程四: ViT模型全流程拆解
  1. Multi-Head Self Attention：回顾
  2. 实现Vision Transformer:从论文到代码（还需理解⚠️）
• 课程五：如何训练ViT模型？DeiT算法解析
  1. Vision Transformer模型回顾
  2. 实现DeiT：从论文到代码（还需理解⚠️）
  3. 实现数据处理（paddle.vision.transform.compose）自己实现
• 课程六：Swin Transformer-1
  1. Vision Transformer回顾
  2. Swin Transformer
  3. 实践：Swin transformer
• 课程七： Swin Transformer-2
  1. Swin Transformer回顾
  2. Shifted Window Multi-Head Self Attention
  3. Relative Position Bias
  4. 实战Swin Transformer
• 课程八：卷积和Transformer结合的ViT
  1. 回顾Swin Transformer
  2. 卷积和Transformer结合——MobileViT
  3. 实践Swin Transformer
  4. 实践数据加载Dataloader
• 课程九: 自监督ViT算法：BeiT和MAE
  1. SSL在NLP中的应用：
  2. Bert
  3. BeiT
  4. MAE：Masked Autoencoders Are Scalable Vision Learners
  5. 实践：Config配置和实验分开进行
• 课程十: 目标检测DETR-1
• 课程十一：目标检测DETR-2

很推荐这门课，原因如下：

1. Vision Transformer的框架讲解，细粒度到里面的代码实现。
2. 对ViT论文分析，以及一些前沿的论文(BeiT、MobileViT)
3. 逐行coding实现
4. 讲授的朱老师超级牛～很喜欢听他讲课。

学习笔记的百度网盘链接

链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
–来自百度网盘超级会员v5的分享