扬帆出海APP
微信小程序
{{!completeInfo?'请完善个人信息':''}}
成立两年多,Haiper拿到近2000万美元融资,资本为何对其持续看好?
1
文生视频效果,Haiper和Pika谁更胜一筹?
Chatgpt诞生以来,一众大模型产品从诞生到飞速迭代,更像是几十年的积累之下在短短数月之间爆发。隔三差五的功能更新,对于整个行业来说,“日新月异”这个词甚至不足以概括其进步的速度。
Sora以60秒的文生视频带来炸场效果之后,Pika紧随其后,最近在视频基础上加入了「Sound Effects」,也就是针对视频内容来搭配生成音效。相比之下,Haiper的创作方向仍在视频和图片领域,相比于其他文生视频模型,Haiper社区最先吸引人关注的就是免费,文生视频和图片视频化可以生成高清模式,但高清模式的视频仅能生成2秒,同时Haiper还支持非高清模式的视频。
相比之下,Pika在视频所生成方面的时长要长于Haiper,Pika能够生成3秒的视频。但通过测试我们发现,在同一prompt下,Haiper和Pika生成视频的效果有明显差异。
我们给出一个prompt为:A little orange cat was resting in the green grass,Haiper和Pika生成的视频分别如下:
Haiper生成的小猫趴在草丛中的视频
Pika生成的小猫趴在草丛中的视频
可以看出,Haiper生成的视频中小猫更可爱更逼真,视频清晰度也很高;Pika生成的小猫清晰度则表现较差,小猫的毛发等细节生成效果并不如Haiper。
需要注意的是,在这段视频中我们使用的prompt是一句简短的句子,不同模型对prompt的理解要求不同,因此生成效果的差异与给出的prompt有一定关系。
同时我们也发现,在Haiper输入“A little orange cat was resting in the green grass”的prompt之后,其生成视频作品后,prompt会自动进行优化。因此,我们最终得到的小猫视频被优化之后的prompt实际为:A little orange cat was resting in the green grass, (large depth offield effect, focus on the subject, emphasis on foreground elements,sharp focus, soft background).【一只橙色的小猫在绿色的草地上休息,(大景深效果,聚焦主题,强调前景元素,锐利的焦点,柔和的背景)】
而我们再将Haiper优化后的prompt复制到Pika上,其生成效果如下:
优化后的prompt应用到Pika上得到的视频
这版视频效果明显优于第一版,但对比之下,优化后的小猫视频和Haiper第一版视频比起来,在清晰度方面差距明显缩小。
通过测试我们发现,对于使用AI文生视频软件并不熟悉的人来说,Haiper的门槛似乎更低,这主要表现在对prompt的优化上。
专业的工程师可以针对视频效果需求提出更精确的prompt,但对于普通人来说,他们并非能像专业人士那样写出非常准确的prompt,因此,一些更具象化的视频需求表达便成了问题。
所以,当普通人在使用AI文生视频软件时,很容易遇到“AI生成的视频和想象中的不一样”的情况,而AI生成视频中,现实和想象的差距就在于prompt的精确程度。对于初级使用者或者说没有prompt基础的人来说,Haiper明显更友好,也更智能。
上面我们测试生成的是相对静态的视频,在后续的测试中,我们加入了动作prompt,并且提供了更具象化的要求,这次我们给出的prompt的要求是:A girl dressed in Chinese Miao costume walks among bamboo trees(穿苗族服饰的中国少女行走在竹林中),针对这个prompt,Haiper和Pika最终生成的视频如下:
Haiper生成的“竹林少女”视频
Pika生成的“竹林少女”视频
这次的对比更为明显,Haiper生成的视频,很突出少女的“行走”特点,但人物在行动过程中,动作和面部表情并不流畅,更像是一帧一帧在拼凑出来的移动效果,视频的清晰度也受到影响。
不过,从正常的人物物理移动的角度来看,Haiper这段视频确实更遵循“少女行走”这个prompt的要求。此外,Haiper生成的少女视频,其面部特征更符合当前中国少女的面部特征。
Pika生成的“少女行走在竹林里”这段视频,清晰度明显高于Haiper,但是少女的面部特征更偏动画效果,与真人差距较大,“行走”的特点不如Haiper视频中表现地更突出,少女移动的幅度更小。当然,Pika在成立之初就是以动画效果优势闻名的,其在生成视频作品时呈现明显的动画元素也在情理之中。
两个模型在生成同一prompt下的共同缺点在于,对于“中国苗族服饰”这个关键词指令的展现不够清晰,相比之下,Haiper能够体现出民族服饰的特点,但Pika生成的视频更具有动画特点,具有一点古风色彩。
当然,在文生视频技术发展尚不成熟的今天,不同模型在相同prompt下生成出的视频效果差异,取决于其参考的数据库。
在我们给出“A cute Pikachu is dancing”(一只可爱的皮卡丘在跳舞)的prompt后,Haiper和Pika数据库中都具备“皮卡丘”这一具象化的卡通形象数据,但是在“dancing”这个动作的表现上,Haiper再一次完胜Pika。
Haiper生成的皮卡丘跳舞视频
Pika生成的皮卡丘跳舞视频
Haiper生成的皮卡丘通过四肢的细微动作体现出“皮卡丘在跳舞”这一特点,但Pika生成的“dancing皮卡丘”更侧重表现“皮卡丘在说话”,对“dancing”prompt的识别和表现程度有所欠缺。
通过对Haiper和Pika两个文生视频模型在同一prompt下生成视频效果进行对比,我们发现,Haiper在对prompt的优化方面做的比较好,对于一些物理动作表达的指令,Haiper的识别程度比较高,表现的准确度也较好。但缺点在于,Haiper生成的视频仅有2秒,且在物理移动的视频生成效果上连贯性比较差。
Haiper输出的视频效果与prompt的匹配度明显更高,更精确,如果其在物理移动和更细节的prompt识别方面积累更多数据的话,视频生成效果或许有能力赶上Sora也不一定。
2
Haiper关注度直逼Pika,实际应用领域如何?
最新一轮的融资让Haiper收获了更多关注,特别是在Sora发布60秒文生视频成果之后,在这个领域越来越多的技术团队和产品被呈现在聚光灯下,一众文生视频模型从幕后走到台前。
Haiper在名气上不如Pika,但视频生成效果并不逊色,而Pika领先的地方除了视频生成时间更长,其在近期还推出了音效新功能Sound Effects,Haiper则在prompt方面能够给出更精确的识别以及优化。
看起来,Haiper更像是在文生视频领域做纵深的探索,以求在技术迭代的基础上把文生视频的技术做精做深,而Pika则在文生视频基础上寻找更多叠加的可能,以技术支持给视频带来更丰富的效果。
Similarweb数据显示,自3月5日Haiper在X上公布了融资消息后,其访问量暴增,从此前的日访问量不足5000,一路飙升至单日最高访问量44419,网站访问量增长近9倍。
Haiper官网近一个月来访问数据情况(图源:similarweb)
Haiper官网和Pika官网近期流量情况对比(图源:similarweb)
对比Haiper和Pika近期的网站流量,在3月8日,Haiper的流量迎来峰值,单日访问量与Pika的差距缩小到6000多。并且在近期Haiper一直维持一个相对稳定且高的流量态势,这说明,在吸引高关注度之后,Haiper的用户粘性正在形成,用户对Haiper工具已经形成一定的忠诚度了。
一个能够理解、解释和生成复杂视频内容的人工智能模型,需要整个系统对周围世界有深刻理解,无论Haiper还是Pika,其视频生成功能的进步到最后,都要面临一个更实际的问题——应用场景。
在Haiper的官方介绍中有这样一段话:生成式人工智能在视觉内容创作领域的发展,不仅仅是关于技术或算法,它是关于重新构想创作、讲故事以及人类与人工智能合作的。
此前,Haiper在服装设计领域已经有了尝试,其开发一种解决方案,通过个人表达让静态草图变成动态动画。
麦肯锡的报告曾指出,生成式人工智能可以在整个时尚价值链中使用,从创意的生成,到产品的定制,再到内容开发以及产品销售环节,都可以借助人工智能技术,同时,人工智能在时尚领域也能实现比较高保真的效果。如果Haiper真的在时尚领域中广泛应用,那么它面临的将是一个规模高达2万亿美元的全球市场。
Haiper联合创始人苗亦舒曾在与艺术家Matilde Mariano和Jose Sobral对的交流中表达过对Haiper应用方案的思考,该方案以Haiper的感性基础模型(Perceptual Foundation Models)提供支持,配备了对光线、运动、纹理和交互的深刻理解,目标成为时尚设计师的重要工具。
具体到时装设计领域,Haiper给出的构想是:这个方案能够预测并直观地表现出水是如何溅到衣服上的,不同的面料是如何在风中飘动的,或者当模特移动时,阴影和光线是如何在衣服上发挥作用的。
在人工智能和时装设计需求的结合下,这种方案允许创作者在动态的、高度现实的环境中实验和展示他们的作品。或许Haiper在时尚领域的突破,只是未来人工智能实际应用的冰山一角,不过这种实际应用领域的探索,势必会越来越广泛。
毕竟,Haiper已经用“免费”拆掉了用户使用的第一道门槛,未来的应用效果只会向更广泛的场景覆盖。
原文链接:点击前往 >
文章作者:周可
版权申明:文章来源于扬帆出海。该文观点仅代表作者本人,扬帆出海平台仅提供信息存储空间服务,不代表扬帆出海官方立场。因本文所引起的纠纷和损失扬帆出海均不承担侵权行为的连带责任,如若转载请联系原文作者。 更多资讯关注扬帆出海官网:https://www.yfchuhai.com/
{{likeNum}}
好文章,需要你的鼓励