资讯专栏INFORMATION COLUMN

传媒人必备:不花钱的AI开源视频神助攻

UCloud小助手 / 233人阅读

前几个月OpenAI大名鼎鼎的Sora 一经发布,似乎象征着视频领域已经进入了生成式 AI 时代。

不过直到今天,我们仍然没有用上OpenAI 的官方视频生成工具,等不及的人们已经开始寻找其他的方法。其中不乏一些国内的厂商如快手的可灵等等。

而在近日,一款全新的开源视频编辑工具 Clapper 引发了人们的关注。与其他的文生视频或者文生视频工具不同,这款工具的设计目的并非取代传统视频编辑器,或使用 3D 场景作为输入的现代 AI 编辑器;其理念是让任何人都可以通过交互式、迭代和直观的过程使用 AI 制作视频,而无需外部工具、电影制作或 AI 工程技能。

Clapper是什么

Clapper 是一款由 HuggingFace 的 AI 前端工程师 Julian Bilcke 开发的免费开源可视化 AI 视频编辑工具。它集成了多种生成式 AI 技术,让用户能够通过交互式、迭代和直观的过程来创建视频,无需掌握专业的电影制作或 AI 工程技能。

在 Clapper 中,用户可以通过调整高级抽象概念(如角色、地点、天气等)来迭代优化故事情节。而Clapper 的导演模式允许用户向 AI 发出指令,从而进行创作电影。这一工具为视频创作领域提供了一种全新的工作流程和创作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程师。他表示,为了向这个方向继续努力,他还在开发导演模式:目标是让使用者可以全屏播放视频,舒适地坐在导演椅(或沙发)上,向 Agent 大喊命令,让 AI 制作电影。

image.png

最近几天,Julian Bilcke 已经上线了使用大模型将任意文本转换为时间线等新功能。而 Clapper 的热度也水涨船高,在 GitHub 上已经拥有超过 1100 的 Star 量。

image.png

如何使用

既然是开源工具,我们主要看的当然是具体好不好用。还记得 AI 大咖 Karpathy 制作 AI 短视频的经历吗?为了把《傲慢与偏见》开头的三句话制作成动画,他花费了整整一个小时。

虽然只有三句话和三个场景,但整个流程比看起来复杂得多。他先用 Claude 根据原文生成一系列图像提示词,再将这些提示词输入文本生成图像模型,生成相应的图像,接着使用视频模型制作动画,配音则交给了 Elevenlabs,最后在 Veed Studio 中将所有片段整合起来。完成后,Karpathy 在推特上吐槽道:「创业者们,机会来了!市场上急需一个能够整合并简化这些流程的 AI 工具。」

好巧不巧,Clapper 正是这样一个集成了所有这些功能的一站式平台。

image.png

通常情况下,要制作一条短视频,需要经历多个步骤。

首先是构思故事和编写脚本,然后根据脚本绘制分镜图。接下来,根据分镜图进行拍摄或寻找素材,将这些素材在剪辑软件中拼接起来,添加动画效果和特效,最后选择性地添加口播、背景音乐或音效。

正因为这一流程的复杂性,影视制作行业中逐渐形成了编导、导演、摄像、剪辑、后期制作、配音等专业分工。而在 Clapper 中,视频制作遵循一种全新的逻辑。它的每条轨道不再像 Premier、剪映等传统剪辑软件那样对应视频或图片素材,而是对应一个具体的制作环节或工种。

image.png

在用 AI 做视频这件事上,我们就是 AI 的甲方,而Clapper 就像一个由业内最强的 AI 组成的剧组。Clapper 内置像 GPT-4o,Claude 3.5(Sonnet)等一系列「顶流」大模型。它就像乙方的执行导演一样,负责将你的需求对接给对应的「AI 编导」。

image.png

从上面的图中可以看出,第一条轨道代表着故事版,和 Clapper 内置的大模型对话,它将通过 API 调取文生图模型,让 AI 分镜老师来生成对应的图片,作为视频画面的基础。

image.png

以 Clapper 提供的样片为例,接下来的轨道依次对应场景、旁白、摄像机视角、背景音乐和音效。你可以使用 ElevenLabs 或 Fal.ai 为这个西部废土世界的故事生成一些废墟的风声或枪战的爆炸声。此外,Clapper 还具备一项可能让「会说话就能拍电影」这一梦想更接近现实的功能。你可以直接将剧本导入 Clapper,并在「故事」部分为你的主人公精心设计角色设定。


然而,尽管 Clapper 的功能充分考虑了视频制作的需求,其效果却并不尽如人意。画面中的人物动作有些“鬼畜”,不符合物理运动规律。整体视频效果更像是会动的 PPT,缺乏镜头之间的转场和连贯性,配乐有时候也充满了 AI 的痕迹,旋律感不强,甚至还夹杂着一些杂音。可能生成式 AI 想要改变视频制作的流程,还需要很长时间,但 Clapper 的出现或许能给还在给传统视频剪辑软件拓展 AI 功能的大厂们,提供了一条新的落地思路。



文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/131151.html

相关文章

  • 阿里云AI如何助攻世界杯?视频集锦背后技术实践

    摘要:可预见的未来激情赛事已经过半,阿里云视频技术在本次世界杯中也成功落地,而这并不是结局,这是将视频应用于体育行业以及更多其他行业的开端。 本届世界杯互联网直播的顺利进行,离不开各大云计算厂商的支持。在这其中,阿里云是当之无愧的C位,除了优酷外,阿里云还支撑了CNTV、CCTV5客户端,为全网70%的世界杯直播流量保驾护航。 对于世界杯这种超大观看量级、超强影响力的重要体育赛事,阿里云一直...

    BothEyes1993 评论0 收藏0
  • 当云走向AI化,百度云正让整个生态走得更远

    摘要:就国内市场而言,百度云选择三位一体战略的时候不乏长远性思考。百度云将放在位的另一个用意正是在领域树立差异化优势,并通过等深耕垂直场景。至少就目前来看,百度云已经找到了最适合自己的竞争方式。2018年下半年,To B迎来了从未有过的热度,也把云计算重新捧上了风口浪尖。和几年前新兴业务的身份不同,处于风暴中心的云计算,早已成为互联网巨头和创业者们最激烈的战场,并相继宣布了酝酿许久的动作。阿里在财...

    daryl 评论0 收藏0
  • AI放在C位百度云,正在将云计算引入新赛道

    摘要:百度企业智能大会现场新一轮抢滩赛将放在位的百度云,自然有着自己的考量。站在百度云的角度而言,云计算进入到综合实力的较量,恰恰是以己所长攻彼之短的最佳时机。2018年下半年,To B迎来了从未有过的热度,也把云计算重新捧上了风口浪尖。和几年前新兴业务的身份不同,处于风暴中心的云计算,早已成为互联网巨头和创业者们最激烈的战场,并相继宣布了酝酿许久的动作。阿里在财报中努力扩大云计算的占比,并视之为...

    tinna 评论0 收藏0
  • APICloud CEO 刘鑫做客喜马拉雅:揭秘AI如何通过移动技术落地

    摘要:不仅如此,倒霉的不只是文科生,根据剑桥大学的数据,目前热门的工程师居然有的几率被淘汰,程序员也有接近的几率被淘汰。 现如今人工智能已经在很多方面得到了应用落地,通过手机移动端的一些功能和应用程序,我们已经能够很直观地感受到它对我们生活的影响。比如苹果IphoneX的人脸识别功能,包括一些主流app有语音识别和语音对话的功能。 随着AI时代的移动技术革新大会开幕邻近,APICloud创始...

    Shisui 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<