说米网

近年来，人工智能在文本到图画生成范畴取得了显著开展。将书面描绘转化为视觉表现具有广泛的应用，从创造内容到协助盲人和讲故事。但是，研讨人员面临着两个严重障碍，即缺乏高质量数据和从互联网抓取的数据集触及的版权问题。
为了战胜这些问题，一支研讨团队提出了一个创新的办法，他们创立了一个构思共享许可（CC）的图画数据集，用于练习敞开分散模型，这些模型能够胜过Stable Diffusion2(SD2)。
image.png
论文地址:https://arxiv.org/pdf/2310.16825.pdf
这个办法有两个主要挑战:首要，高分辨率的CC相片虽然是敞开许可的，但它们经常缺乏文本描绘，这关于文本到图画生成模型的练习至关重要。
其次，与像LAION这样的大型专有数据集相比，CC相片数量较少，虽然它们是重要的资源。这引发了是否有满足的数据能够有效练习高质量模型的问题。
为了解决这些问题，研讨团队采用了迁移学习技能，运用预练习模型创立了超卓的组成标题，并将其与精心选择的CC相片相匹配。这种办法运用了模型从相片或其他输入生成文本的才能，通过创立一个相片和虚拟标题的数据集，用于练习生成模型，将文字转化为视觉内容。
此外，他们还拟定了一种既节省计算资源又高效运用数据的练习办法，以解决第二个挑战。(godaddy 优惠券)这意味着有满足的CC相片可供练习高质量模型。终究，研讨团队培训了多个文本到图画生成模型，这些模型被称为CommonCanvas系列，并在生成质量上比美SD2。
通过该办法，他们战胜了数据集巨细的限制和运用人工标题的问题，实现了高质量的图画生成。总之，他们的研讨为构思共享图画的运用提供了新办法，为生成模型的进一步开展提供了有力支撑。一起，他们还将练习好的CommonCanvas模型、CC相片、人工标题和CommonCatalog数据集免费提供在GitHub上，以鼓励更多的合作和研讨。