深度学习题目集锦--仅供参考

1. 什么是激活函数？为什么要使用激活函数？
答案： 《Python深度学习》p55
2. 将标签向量化的两种方法：
（1）将标签列表转换为整数张量；（2）使用one-hot编码。《Python深度学习》p61，p65.
3. 对于取值范围差异很大的数据，如何操作？
答：普遍采用的最佳实践是对每个特征（列）做标准化，即对于输入数据的每个特征（输入数据矩阵中的列），减去特征平均值，再除以标准差，这样得到的特征平均值为0，标准差为1. （《Python深度学习》p67）
4. 对于可用数据很少的情况，
（1）验证方法采用：K折交叉验证或带有打乱数据的重复K折交叉验证。（《Python深度学习》p68，78-79）
（2）最好使用隐藏层较少（通常只有一到两个）的小型网络，以避免严重的过拟合。（《Python深度学习》p72）
5. 为什么将数据集划分为训练集、验证集、测试集三个集合，而不直接划分为训练集和测试集？
关键：训练调节模型配置（超参数）是基于验证集上的性能，会造成信息泄露，为提高模型泛化能力，需要全新的测试集来评估模型。（详细见《Python深度学习》p77）
6. 评估模型的注意事项：
（1）数据代表性；（2）时间箭头；（3）数据冗余。（详细见《Python深度学习》p80）
7. 神经网络的数据预处理一般有：
（1）向量化（神经网络的所有输入和目标都必须是浮点数张量，特殊情况下可以是整数张量）；（2）值标准化（减平均值，除以标准差，使最终平均值为0，标准差为1）；（3）处理缺失值（一般，如果0不是一个有意义的值，可以将缺失值设置为0）。（《Python深度学习》p80-81）
8. 特征工程的本质： 用更简单的方式表述问题，从而使问题变得更加容易。
虽然现代深度学习，大部分特征工程是不需要的，但特征工程仍有存在的必要。（《Python深度学习》p82）
9. 机器学习的根本问题： 优化和泛化之间的对立。
优化： 调节模型以在训练数据上得到最佳性能（即机器学习中的学习） ；
泛化： 训练好的模型在前所未见的数据上的性能好坏。
10. 防止过拟合、提高准确率的常用方法 （防止模型从训练数据中学到错误或无关紧要的模式）：
（1）最优解决方法：获取更多的训练数据；
（2）次优解决方法：正则化（即调节模型允许存储的信息量，或对模型允许存储的信息加以约束）。
具体做法有：①减小网络大小（最简单的方法）；②添加权重正则化（即强制让模型权重只能取较小的值，从而限制模型的复杂度，使得权重的分布更加规则。实现方法是向网络损失函数中添加与较大权重值相关的成本，如L1正则化，L2正则化）；③添加dropout；④数据增强；⑤采用预训练模型；
（《Python深度学习》p83-88）
11. dropout的核心思想： 在层的输出值中引入噪声，打破不显著的偶然模式。（如果没有噪声的话，网络将会记住这些偶然模式。）
12. 常见问题类型的最后一层激活函数和损失函数：（《Python深度学习》p91）
13. 密集连接层和卷积层的根本区别：
Dense层从输入特征空间中学到的是全局模式（涉及所有像素的模式）；
卷积层学到的是局部模式，对于图像来讲，学到的就是在输入图像的二维小窗口中发现的模式。这个重要特性使卷积神经网络具有两个有趣的性质：（1）卷积神经网络学到的模式具有平移不变性；（2）卷积神经网络可以学到模式的空间层次结构。
14. 最大池化的作用： 对特征图进行下采样。
15. 使用下采样的原因：
（1）减少需要处理的特征图的元素个数；
（2）通过让连续卷积层的观察窗口越来越大（即窗口覆盖原始输入的比例越来越大），从而引入空间过滤器的层级结构。
16. 使用最大池化，比使用平均池化或在卷积层中使用步幅，效果更好的原因：
特征中往往编码了某种模式或概念在特征图的不同位置是否存在（因此得名特征图），而观察不同特征的最大值而不是平均值能够给出更多的信息。
17. 最合理的子采样（下采样）策略：
（1）首先通过无步进的卷积生成密集的特征图；
（2）然后观察特征每个小图块上的最大池化，而不是查看输入的稀疏窗口（通过步进卷积）或对输入图块取平均，因为后两种方法可能导致错过或淡化特征是否存在的信息。
（《Python深度学习》p102）
18. 为什么卷积核为奇数？
CNN为什么卷积核的大小都是奇数
19. 预训练网络的方法：（1）特征提取；（2）微调模型。（《Python深度学习》p116 有空可详细再理解一下）
20. 微调网络（模型）的步骤： （《Python深度学习》p126）
21. 残差连接： 将前面的输出张量与后面的输出张量相加，从而将前面的表示重新注入下游数据流中，这有助于防止信息处理流程中的信息损失。
22. 残差连接解决的问题：（1）表示瓶颈；（2）梯度消失。（《Python深度学习》p207）
23. 1*1卷积的作用： （《Python深度学习》p205）
24. 让模型性能发挥到极致的高级架构模式：（1）残差连接（《Python深度学习》p206）；（2）批标准化（《Python深度学习》p219）；（3）深度可分离卷积（《Python深度学习》p220）。

深度学习用于文本和序列