扬帆创投微信小程序
更聚焦的出海投融资平台
精准高效领先的融资对接服务
微信扫一扫进入小程序

它会是中国版的Sora吗?

图片

 

作者丨周可
编辑丨关关
 

Sora的光芒之下,文生视频领域的新机会正在逐步被发掘,尽管Sora尚未正式对公众开放,但关于文生视频技术应用带来的市场需求正在涌现。梦工厂创始人卡森伯格认为,人工智能将在3年内削减动画电影岗位90%。机会给到文生视频创业公司,大量文生视频应用工具出现并实现技术迭代,市场也逐渐从B端向C端拓展。

 

作为全球头部AI生成图像品牌,Fotor旗下也推出了一站式AI文生视频平台Clipfly,这是一款主打“不需要任何技能”“即时生成”的平台。

 

 

无论是文生图还是文生视频,想要获得更贴近自己需求的作品,产品本身除了需要应用具备更专业的提示词识别能力外,更需要强大的算力支持来保证生成视频的连贯性

 

Clipfly的一个优势在于,其背靠Fotor,具备AI图片生成和处理技术积累,因此其文生视频平台Clipfly也是以提示词生成视频关键帧,之后再以关键帧图片生成视频集合,最终输出犹如电影效果般的长视频的形式,比起Sora和Pika等行业领先产品,Clipfly除了具备基本的文生视频功能,还可以进行后期的视频和音频剪辑。作为率先面世的一站式AI视频生成平台,Clipfly消除了在不同平台之间切换的需求,使用户能够在一个统一的平台上实现他们的创意愿景。

突破时长限制
Cliplfly紧追Sora

利用Clipfly生成一个初级的视频仅需3个步骤输入提示词,单击Generate Frames按钮生成框架,Clipfly便根据提示词可以生成1-6张提示图,也是视频的关键帧;从生成的帧中选择一帧,点击生成视频按钮,在Clipfly界面的右侧视频素材栏便生成了基于这一关键帧的视频素材,由于一个提示词下生成的单条视频仅有4秒,因此,如果我们想生成时长更长的视频,就需要将自己的提示词拆分成几个,分别进行生成的过程;之后,再选中已经生成的视频片段,点击“生成视频”按钮,一个完整的视频就生成了,例如这段赛博朋克主题的视频就长达40秒。
 

图片

输入一段有关童话故事《白雪公主》的提示词可以得到如图效果

Clipfly单次输入提示词可以最多支持生成6张关键帧,这也就给了客户更多选择,毕竟,当人输入提示词,再由AI理解提示词,这个过程看似简单,AI最终根据提示词生成的关键帧,和用户主观想象的结果还是有差距的,所以,一个提示词生成6张关键帧给了用户更多选择,以选出更贴近于他们想象的作品。
 
和Pika类似,Clipfly针对生成的关键帧图片提供8种风格的选择,如果生成的视频中含有人物,则还可以针对人物的面部进行换脸操作,这项功能目前很多AI文生图视频应用并不具备,对于用户来说,这种AI换脸操作也能更大程度上保证生成的视频效果更符合自己的预期。
 

图片

图片

 

之所以称之为“初级视频”,是因为相比Sora,Pika之类的文生视频,Clipfly还具备丰富的文生视频的“售后”功能——视频剪辑和音频剪辑

这也就是说,为什么在使用Clipfly的时候,我们会有其类似于视频剪辑软件的感觉。
 
此前Pika也尝试推出过「Sound Effects」功能,但是由于功能还不够完善,其翻车视频也被不少网友拿来调侃。
 
目前来看,AI文生视频和视频音效的配置在技术结合上成熟度还差一些,且针对视频生成的音效大多只能体现视频画面中的元素,其效果与用户真正的需求之间有差异也属正常。
Clipfly之类将AI文生视频与视频和音频剪辑同步在一个产品中,在功能上实现了集合,也更便于用户对视频进行更专业的后期处理
 
另据了解,Clipfly即将上线批量生成视频片段功能,即每个关键帧可以一次生成多达10个的视频片段,这也大大提高了文生视频的效果。
 
不过在试用中我们也发现,Clipfly生成的视频仍存在一些细节问题,比如我们给出的提示词是“Snow White has been driven out of the castle by her evil stepmother, and she is walking in the forest, crying as she goes”(白雪公主被她邪恶的继母赶出了城堡,她在森林边走边哭),针对这段提示词,Clipfly生成的4秒视频中,对白雪公主和森林元素体现的比较突出,但并没有体现“城堡”,而且白雪公主在行走过程中的肢体流畅度相对差一点。不过,在表现“哭”这个元素的时候,我们在视频中能够比较明显的看出白雪公主的脸上是富有表情的。
 
整体来看,Clipfly和Pika等文生视频应用相比,其视频生成效果并不差,不过在清晰度和人体行动的流畅性方面仍有需要提升的空间,当然,音视频剪辑可以说是Clipfly的加分项,能够为用户提供更丰富的功能选择。
 
02

技术力+产品力
优势叠加

Clipfly平台是近期新上线的AI文生视频平台,但其背后的Fotor却并非行业新手。
 
Fotor是一款多平台(Mobile, Web, Mac & Windows)图片编辑和平面设计、在线印刷工具,由于图片编辑功能更简洁全面,其曾被BBC誉为轻便的Photoshop,全球用户数超4.5亿海外用户占据95%以上。海外市场的用户积累,也为Clipfly平台出海打下了用户市场基础。
 
作为一家以图片处理技术起家的企业,为何会选择AI视频方向进行布局?对此,Fotor创始人兼CEO段江给出的答案是:Fotor在图像领域有深厚积累,基于技术通用性视频用户需求增长,因此决定布局AI视频方向。
 
图片
事实上,从Sora爆火以来,文生视频领域未来的商用场景成为行业内共同关注的对象,这一点,段江也给出了自己的看法,他认为:广告短片等具体应用场景,创作者需要的不是一镜到底的视频,而是不断变换的多个场景片段。Clipfly通过调优模型,提高生成视频片段的采纳率,从而满足创作者体验。“
 
在对Clipfly的使用体验中,用户也能切实感受到其对多场景变化的技术支持,同时,在Clipfly的产品中还加入了视频剪辑和音频剪辑功能,给用户提供了一定创作空间。
 
技术层面来看,Clipfly背靠Fotor,从图片到视频生成的技术迭代过程中具备了技术积累。段江也表示:自2023年6月Clipfly立项以来,团队基于成熟的技术和产品能力,在开发过程中部分解决了人物一致性等问题。
 
图片
不过,在Sora,Pika等知名文生视频产品冲击市场的今天,如何保证一款新入局的产品在拥挤的市场竞争中寻找到一席之地?
 
段江对此很有信心,他表示:“我们有工程能力、算法的原始创新,还有产品能力,这些结合在一起,形成了现在的Clipfly产品。”
事实上,AI应用发展到今天,算力已经成为一款产品参与竞争的基础要求,对于平台建设者而言,除了算力本身的优势,产品力也非常重要,特别是在实际应用和商业化过程中,如何以更强的产品力打开市场,对需求的满足做到更细化,往往是影响产品打开市场的重要因素。
 
我们在试用Clipfly过程中也能明显感受到,作为“一站式AI长视频生成平台”,其解决了以往用户需要在不同平台之间切换的痛点,让整个视频生成和优化的过程更顺畅,效率更高。
 
03

结语

相比其他头部文生视频应用,Clipfly的产品力表现非常抢眼,其能够为用户提供的功能更丰富,更多元,对对于用户来说也有更广泛的创作空间。毕竟,作为AI文生视频平台,其最终的目标不仅仅是技术上水准的逐步拔高,更重要的是能够实现落地商用,获得更多用户的投票。
 
5月9日——10日,PAGC2024 全球产品与增长大会将在广州举办,届时,Fotor海外业务负责人兼COO张家俊将莅临PAGC现场发表演讲,想进一步了解Clipfly的用户,欢迎参加PAGC大会,与众多出海专家面对面,了解更新更全的出海方法论。
 

图片

文章作者:周可

版权申明:内容仅供网友参考学习。如有侵权,请联系客服,扬帆出海欢迎行业优质稿件投稿。扬帆出海为您提供中国互联网出海权威资讯,提升出海认知;对接全球企业合作资源,构建企业本地化壁垒;10万+出海从业者社群,帮助打通行业人脉。 更多资讯关注扬帆出海官网:https://www.yfchuhai.com/

{{likeNum}}

好文章,需要你的鼓励

请前往扬帆出海小程序完成个人认证
认证通过后即可申请入驻
咨询/开通企业服务会员
请添加下方商务企业微信
企业服务会员
助力销售转化再上台阶
bd@yfchuhai.com
咨询/开通企业服务会员
请添加下方商务企业微信
企业服务会员
助力销售转化再上台阶
bd@yfchuhai.com
APP
小程序
微信公众号
微信小程序
扬帆出海APP
扬帆出海APP
微信
公众号
微信公众号
关注扬帆出海
专注服务互联网出海!
出海人
社群
微信公众号
扫码进群
与10万+出海人同行!