说米网

FreeU是一种新的人工智能技能，旨在进步生成模型的质量，而无需额定的练习或微调。它采用概率分散模型，这是一种先进的生成模型类别，特别适用于与计算机视觉相关的任务。
与其他生成模型类别不同，如变分自动编码器（VAE）、生成对抗网络(GAN)和矢量量化方法，分散模型引进了一种新颖的生成范式。这些模型运用固定的马尔科夫链来映射潜在空间，然后促进捕捉数据会集潜在结构杂乱性的杂乱映射。
QQ截图20231027115243.jpg
项目地址:https://chenyangsi.top/FreeU/
最近，这些模型在各种计算机视觉运用中展示出了杰出的生成才能，包含图画组成、图画编辑、图画到图画的转化以及文本到视频的生成。
分散模型包含两个首要组件:分散进程和去噪进程。在分散进程中，高斯噪声逐步加入输入数据，逐步将其转化为简直纯粹的高斯噪声。
相反，在去噪进程中，经过一系列学习的反向分散操作来恢复原始输入数据。北京主机托管,一般，运用U-Net来猜测每个去噪过程中的噪声去除。现有研讨首要会集在运用预练习的分散U-Net进行下流运用，对分散U-Net的内部特性进行了有限的讨论。
QQ截图20231027115230.jpg
一项联合研讨从分散模型的传统运用中动身，经过研讨分散U-Net在去噪进程中的有效性，引进了一种新的方法，称为“FreeU”，它可以在不需要额定计算担负的情况下增强生成样本的质量。
在推理阶段，引进了两个专门的调制因子，以平衡骨干和跳跃连接的特征贡献。首要，称为“骨干特征因子”的因子旨在扩大骨干的特征图，然后增强去噪进程。
QQ截图20231027115220.jpg
然而，观察到骨干特征缩放因子的引进，虽然带来了明显的改善，但有时会导致不必要的纹路过度滑润。为了处理这个问题，引进了第二个因子，“跳跃特征缩放因子”，以减轻纹路过度滑润的问题。
FreeU框架展示了与现有分散模型的无缝适应性，包含文本到图画生成和文本到视频生成等运用。经过运用稳定分散、DreamBooth、ReVersion、ModelScope和Rerender等根本模型进行基准比较，对这种方法进行了全面的试验评价。当在推理阶段运用FreeU时，这些模型显示出生成输出质量的明显提高。总归，FreeU是一种引人注目的技能，可以明显进步生成模型的质量，而无需额定的练习或微调，已在多个运用中得到成功运用。