说米网

分散模型已经改造了各类数据的生成建模。但是在实践运用中，如依据文本描述生成美观图画，仍需求微调模型。现在文本到图画的分散模型选用无分类器辅导和精心设计的数据集如LAION美学数据集来提高图画质量和模型对齐功能。
image.png
论文地址:https://arxiv.org/abs/2309.17400
在研究中，Google DeepMind提出了一种直接而高效的根据梯度的奖赏微调办法，其中心是将分散采样过程微分化。他们提出了直接奖赏微调（DRaFT）的概念，其本质是反向传达整个采样链，通常表明为具有50步长度的展开计算图。为有效办理内存和计算成本，他们选用梯度检查点技能，优化LoRA权重而不是修正悉数模型参数。
此外，Google DeepMind还提出了DRaFT办法的改善，以提高其功率和功能。首先是DRaFT-K，其约束采样时仅反向传达最后K步时的梯度计算。试验结果显示，与全反向传达比较，这种切断梯度办法的功能显着更好，因为全反向传达会导致梯度爆破问题。
别的，研究人员提出了DRaFT-LV，其平均多个噪声样本来计算更低方差的梯度估计，进一步提高办法功率。
研究人员在Stable Diffusion1.4上运用DRaFT，运用各种奖赏函数和提示进行评估。他们的梯度办法比较根据强化学习的微调基线，功率优势显着。免费二级域名注册,例如，在最大化LAION美学分类器分数时，与强化学习算法比较取得了200倍的加快。
他们提出的变体DRaFT-LV展现出卓越的功率，学习速度约为从前梯度微调办法ReFL的两倍。此外，他们证明了DRaFT可以与预训练模型组合或插值，经过混合或缩放LoRA权重来完成。
总之，直接在可微奖赏上微调分散模型是一个提高生成建模技能的有前景的方向。其功率、通用性和有效性使其成为机器学习和生成建模领域研究者和从业者的有价值东西。