说米网

Google Research最近推出了一款名为VideoPoet的大型言语模型（LLM），旨在解决当时视频生成范畴的挑战。该模型的创新之处在于将言语模型应用于视频生成，支撑多种使命，google推广电话,例如文本到视频、图画到视频、视频风格化、修正和修正以及视频到音频。
截屏2024-01-10 上午10.35.58.png
点击前往VideoPoet官网体验进口

与目前干流的模型不同，VideoPoet将这些视频生成使命融合在一个大型言语模型中，而不是依赖于针对每个使命分别练习的组件。
VideoPoet通过多个分词器进行练习，包含MAGVIT V2 用于视频和图画，以及SoundStream用于音频。这使得VideoPoet能够学习跨视频、图画、音频和文本模态的常识。通过将模型生成的令牌转换为可视化表明，VideoPoet能够输出动画、风格化的视频，乃至生成音频。该模型还支撑文本输入，以辅导文本到视频、图画到视频等使命的生成。
为了展示VideoPoet的多功能性，研究人员供给了一些生成示例，包含根据文本提示生成可变长度的视频，将输入图画转化为动画视频，以及生成独特风格的视频。最令人印象深入的是，VideoPoet还能够生成音频，完成了从单一模型生成视频和音频的目标。
研究人员指出，VideoPoet的练习方式使其具有生成较长视频的潜力。通过在上一个视频的最后 1 秒的基础上猜测下一个 1 秒，VideoPoet能够完成视频的不断延伸。此外，模型还支撑对已生成视频进行交互式修改，用户能够改动物体的运动，完成不同的动作，从而具有高度的修改控制。
评价成果显现，VideoPoet在文本到视频生成方面表现出色。人们选择VideoPoet中24-35%的示例比竞赛模型更好，而竞赛模型的这一比例为8-11%。评分者还更喜欢VideoPoet中41-54%的示例，因为它们的动作更有趣，而其他模型的这一比例为11-21%。
作为一款大型言语模型，VideoPoet集成了多种视频生成使命，为零镜头视频生成带来了新的可能性，为艺术创作、影视制作等范畴供给了潜在的创新机会。
您能够点击此处访问VideoPoet官网体验进口。
AiBase副业搞钱交流群

欢迎我们加入AiBase交流群， 扫码进入，畅谈AI挣钱心得，同享最新行业动态，发现潜在合作伙伴，迎接未来的挣钱机会！。