ControlNet笔记

原文：Adding Conditional Control to Text-to-Image Diffusion Models

Contribution:

1. 使得网络能在非常小的数据集上训练(原文：with samples less than 50k or even 1k)

2. 允许额外条件输入，约束所创建的图像

3. 改善了扩散模型的输出

4. 提出零卷积的概念（或许能应用在其他方面）

零卷积层

权重W与偏置B都初始化为0的1x1卷积层

作用：放在网络最前与块的末端，可以微调额外输入条件与最终输出结果。

具体细节实现

将一个网络块（如残差块、attention块等）的权重复制为一个“可训练副本”和一个“锁定副本”，对额外输入c进行零卷积然后与输入x相加，再将相加结果用原有的可训练副本进行训练，最后经过一个零卷积层（对输出进行微调）后与锁定副本的卷积块输出结果相加得到最后结果。

其中的参数都为0，使得

初次卷积结果与原结果相同，在训练中不断调整，以达到微调的目的。

原文参考：

原文地址：https://arxiv.org/abs/2302.05543