Adobe重磅官宣:OpenAI视频模型Sora与Premiere Pro合体,剪辑师喜获最强AI工具

重磅!今年最令人瞩目的视频大模型Sora终于来了。 没等到OpenAI官宣上线,却迎来了Adobe官宣合作。 4月16日,Adobe官方发文称,包括Adobe

图片

重磅!今年最令人瞩目的视频大模型Sora终于来了。

没等到OpenAI官宣上线,却迎来了Adobe官宣合作。

4月16日,Adobe官方发文称,包括Adobe Firefly自研模型,以及OpenAI Sora、Runway Gen-2、Pika一系列的第三方视频模型,都将在剪辑师们必备的Adobe Premiere Pro剪辑软件上推出。

图片

一大批网友激动表示:终于可以用上Sora了,而且是在最熟悉的工作流当中。

根据官方发布的演示视频,借助一系列的AI视频模型,可以在Adobe Premiere Pro内实现诸多的视频生成能力。

<iframe src="https://player.youku.com/embed/XNjM4OTI2MDM3Ng==" frameborder="0" allowfullscreen="allowfullscreen"></iframe>

这也意味着,广大的剪辑师无需重新学习构建新的工作流,可以轻松在Adobe的生态内继续创作。

也不用担心丢失既有的技能与工作岗位,实属超级福音!

图片

AI重塑,Premiere Pro超级进化!

下边让我们看一下AI介入Pr视频剪辑的实战案例:

在剪辑工作台窗口内,用鼠标拉出一段留白片段。然后在Model下拉选项卡选择「OpenAI」的模型。再输入提示词:「一位男子走向窗前,正在看整座城市的夜景」。

Sora出战后,Duang的一下——立即根据文本生成了一段“雨夜城市”的视频。

图片

下边我们换成Runwa的Gen-2模型,依样画葫芦,可以轻松一键生成以驾驶员视角在车内观望雨夜的视频片段。

图片

我们在过去的经验里边知道,Pika的视频模型更擅长生成人物表情神态。

那我再借助Pika生成一段男主的特写镜头视频,镜头剧本转场非常丝滑。

图片

Adobe为我们演示了如何通过多个AI视频模型搭配创作,完成一段有剧情的AI视频。

当视频生产力工具大厂与AI大模型研发公司强强联手,将为万千视频内容创作者带来无穷的乐子!

此外,除了内置第三方的AI视频模型生成工具之外,Adobe还发布了一系列针对Premiere Pro的AI新功能。

比如AI自动添加对象、AI移除指定对象,以及视频内容AI自动创意扩展长度的能力。这些能力可基于Adobe自研的Firefly模型实现。

比如下图所示,将女主的打底衫颜色由深色变为白色。

图片

为男主的白衬衫加上一条精致的领带;将手表换一个款式等等。

图片

再比如,鼠标选定一个区域,将稀稀拉拉的钻石,一键变成满满的一箱子宝石。

图片

或者快速移除视频内多余的物体,就像移除照片路人甲一样简单。

图片

还有更离谱的“懒人”玩法,为视频原片自动延长几秒钟的片段。

图片

Adobe为我们展示了下一代AI视频创作工具的工作流形态。

根据官方的数字,目前Premiere Pro在全球有3300万的付费用户,将对数字视频产业带来全面性与革命性的变化。

Sora模型最快将于年底上线

看到这里不得不泼一盆冷水。

尽管Adobe官宣与各大AI视频工具开发商达成战略级合作,但是第三方的AI视频模型何时集成到Premiere Pro,具体时间表还未知。

图片

根据此前OpenAI CTO穆拉蒂接受《华尔街日报》专访时透露的讯息,该公司有意避开美国总统大选的周期,因此很可能会拖延到今年年底推出Sora。

Adobe官方表示,嵌入第三方AI视频工具是为了给广大Premiere Pro用户提供更多的个性化选择。帮助剪辑师为项目生成B-roll辅助性空镜时,可以很轻松地获得片段素材。

图片

前谷歌产品经理Bilawal Sidhu对此表示,强强联手对创作者来说非常棒,真正想更好地利用AI视频模型做出杰作,就需要将它们引入一款熟悉的视频编辑工具。

图片

Adobe与Midjourney达成模型训练素材合作

大概在上周,网上突然爆出Adobe的“丑闻”,该公司的Firefly大模型是在Midjourney生成的图像上完成训练的。

为此,Adobe宣布,将以3美元/分钟的价格向Midjourney采购AI视频片段,用于训练下一代的AI视频模型。

图片

Adobe方面希望能训练出媲美Sora的视频模型,可以通过提示词生成长达60秒的片段。为此,该公司还向广大艺术家线上公开征集素材,每条采纳的视频支付120美元的报酬。

在去年,Adobe曾向艺术家们采购图像素材,每张照片支付大约6~16美分,用于训练AI文生图模型。

未来,向大厂出售大模型训练数据集,或许也会成为一个内卷的买卖。