说米网

音讯:虽然像Runway ML这样的公司在将文本转换为视频方面获得了长足的前进，但 VideoChatGPT却另辟蹊径，赋予言语模型分析视频的才能。Video-ChatGPT 可以用文本描述视频的内容，例如，经过杰出显现不寻常的元素来解释为什么剪辑可能很风趣。
开发人员经过一段长颈鹿从跳水板上跳入水中的视频来演示这一点。Video-ChatGPT 指出:“这并不常见，由于长颈鹿并不拿手杂技或潜水。”
什么是域名解析,链接到开源言语模型的预练习视频编码器
研究人员将 Video-ChatGPT 的规划描述为简略且易于扩展。它运用预练习的视频编码器，并将其与预练习然后微调的言语模型相结合。
QQ截图20230529160513.jpg
尽管称号如此，阿布扎比穆罕默德·本·扎耶德人工智能大学的项目并未运用 OpenAI 技能。相反，研究人员嵌入了一个线性层，将视频编码器连接到言语模型。
除了要求特定任务的用户提示外，言语模型还会运用定义其人物和一般工作的系统命令进行提示。
人机增强数据集
研究人员结合运用人工注释和半自动化方法来生成高质量数据，以微调 Vicuna 模型。这些数据的范围从详细描述到创造性任务和访谈，涵盖了各种不同的概念。
总的来说，域名查询工具,该数据集包括大约86，000个高质量的问答，一些由人类注释，一些由 GPT 模型注释，一些由图像分析系统的上下文注释。
QQ截图20230529160526.jpg
Video-ChatGPT 的核心是其结合视频了解和文本生成的才能。它在视频推理、创造力和对时间和空间的了解方面的才能现已过广泛测试。
多模态人工智能未来
过期域名查询,在最近文本生成获得重大进展之后，OpenAI 和谷歌等公司正在转向多模态模型。Bard 了解并可以对图像做出反响，并在其正式发布时展示了这些才能。
从图像到移动图像将是下一个合乎逻辑的步骤。谷歌现已宣告开发一款将于今年晚些时候发布的 带有 Project Gemini 的大型多模式 AI 模型。