说米网

最近，德克萨斯大学奥斯汀分校和Meta Reality Labs的研讨人员联手推出了SteinDreamer，该技能集成了Stein Score Distillation（SSD）技能，以改善文本至3D生成范畴的梯度估量高方差问题。这一技能的突破对于自动化和加速虚拟现实、电影和游戏中的3D财物创立具有重要意义。
文本至图画生成范畴的最新进展，受到扩散模型驱动的启示，引发了对文本引导的3D生成的重视。这一技能旨在为虚拟现实、电影和游戏等范畴的3D财物创立供给自动化解决方案。但是，在3D组成中存在着挑战，包括高质量数据的稀缺性以及运用3D表示进行生成建模的复杂性。为解决3D数据匮乏的问题，一些研讨人员提出了分数蒸馏技能，使用2D扩散模型进行训练。但是，这一方法存在噪声梯度和不稳定性的问题，这源于去噪不确定性和小批量大小，导致收敛缓慢和亚优化解的发生。
SteinDreamer的研讨团队将提出的Stein Score Distillation（SSD）技能整合到文本至3D生成的流程中。SSD成功解决了在分数蒸馏过程中存在的方差问题，特别是在梯度估量方面。在3D目标和场景等级生成方面，SteinDreamer的功能逾越了DreamFusion和ProlificDreamer，供给了详细的纹路和精确的几许形状，减轻了Janus和鬼魂伪影等问题。SteinDreamer经过降低方差加速了3D生成的收敛，减少了迭代次数。
SSD与现有其它技能生成著作对比:
image.png
image.png
整体而言，SteinDreamer作为文本至3D生成范畴的立异性解决方案，经过引进SSD技能，不只改善了梯度估量的方差问题，还在目标和场景生成方面取得了明显的视觉质量提高。建立网店,该技能的实施供给了更稳定的梯度更新，使其在收敛速度上超过了现有方法。实证成果显示，相较于SDS，VSD的功能一直更超卓，标明它们的数值估量方差存在明显差异。SteinDreamer经过SSD技能呈现出更丰富的纹路和较低等级的方差，相较于SDS发生了更少的过饱和和过度滑润的伪影。
论文:https://arxiv.org/pdf/2401.00604.pdf
AiBase副业搞钱沟通群

欢迎大家加入AiBase沟通群， 扫码进入，畅谈AI挣钱心得，同享最新行业动态，发现潜在合作伙伴，迎接未来的挣钱机遇！。