如何使用Google Lumiere AI视频生成器
目前无法访问或下载 Lumiere。我们预计 Lumiere 将在不久的将来增强 Google Bard 的多模式功能。按照以下步骤准备在发布时使用它:
要使用 Google Lumiere,您需要访问Google Bard。请访问此处的聊天机器人网站。
官方尚未确认视频模型已被集成。然而,可以公平地预测,在不久的将来,巴德将成为使用它的地方。
如果 Google Lumiere 开源,我们将在这里解释如何下载和安装它。
Google Lumiere 是什么?它能做什么?
Google Lumiere 是一种新的视频传播模型。它“使用简单的文本提示生成连贯的高质量视频”,非常适合风格化。它也是多模式的,具有文本到视频和图像到视频的模式。您还可以使用它来制作电影图片和视频修复!
Lumiere 比其他模型实现了更好的时间一致性,因为“时空 U-Net 架构可以通过模型中的单次传递一次性生成视频的整个时间持续时间。这与现有的视频模型形成鲜明对比,现有的视频模型合成远处关键帧,然后进行时间超分辨率”。
这个新的人工智能模型代表了之前发布的谷歌人工智能工具的总结。
Style Drop于 2023 年 12 月 15 日推出,是 Google 自己的文本到图像生成器。其 USP 是“使用一个或多个样式参考图像来描述文本到图像生成的样式”。通过这样做,StyleDrop 能够以与参考一致的风格生成图像,同时有效地规避文本提示工程的负担”。因此,StyleDrop 已经采用了 Google Lumiere 中的计算机视觉研究成果。
Video Poet是 Google Lumiere 的前身,它是一个用于零镜头视频生成的大型语言模型。主要区别在于质量。令人印象深刻的是,Video Poet 已经是多模态的——能够从视频输入生成音频。这是最不常见的多模态途径之一(最常见的是语音到文本)。事实上,这种“自回归语言模型可以跨视频、图像、音频和文本模式进行学习”。