字节用AI卷起老本行:进军视频生成大模型,可自由切换镜头、接近实拍效果

(原标题:字节用AI卷起老本行:进军视频生成大模型,可自由切换镜头、接近实拍效果)

图源:时代周报记者现场摄

可自由切换镜头

据火山引擎现场介绍,豆包大模型的使用量在急速增长。

截至9月,豆包语言模型的日均tokens使用量超过1.3万亿,相比5月首发时增长十倍,多模态数据处理量也分别达到每天5000万张图片和85万小时语音。

在庞大的用户使用量下,豆包大模型再次带来新变化。不仅新增视频生成模型,还发布了豆包音乐模型和同声传译模型,已全面覆盖语言、语音、图像、视频等全模态。

此前,视频生成模型大多只能完成简单指令,豆包视频生成模型则能实现自然连贯的多拍动作与多主体复杂交互——不仅能够遵循复杂指令,让不同人物完成多个动作指令的互动,人物样貌、服装细节甚至头饰在不同运镜下也保持一致,接近实拍效果。

豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。“这意味着豆包生成的视频攻克了多景别切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性,这也是豆包视频生成模型独树一帜的技术创新。”谭待表示。

关于模型未来的方向,谭待表示火山引擎更关注基于现有模型更好地落地和加速创新,“技术要满足用户需求,新老技术要不断调整适配。大模型的成熟标准是孵化后用户体验过且有一定体量的真实且较好的反馈,而不是实验室里的反馈。比如即梦、豆包都有大量内测,用户反馈是重要评测标准。”

此前,豆包大模型定下低于行业99%的token定价,率先卷起降价潮的火山引擎。目前,豆包视频大模型的使用定价尚未公布。谭待对时代周报等媒体表示,视频模型和语言模型应用场景不同,定价逻辑也不同,要考虑“新体验-老体验-迁移成本”,最终能否广泛应用取决于比以前的生产力ROI提升多少。

图源:即梦官网

探索AI原生产品

此前,即梦的普通用户已可以生成3秒的AI短视频,VIP用户则可以延长3秒。

今年3月开始,剪映密集更新AI功能,如智能字幕、视频翻译等功能。并且还与抖音打通,对使用剪映AI功能的短视频进行流量和现金奖励扶持,例如优秀作品可获得DOU+500元/条的流量扶持。当前,剪映的VIP会员定价为1年218元,平均每月18.17元,即梦的VIP会员月费则为69元。

在AI创新巡展上,陈欣然提到“已将豆包大模型的相关技术应用在剪映、即梦AI和醒图”,并介绍了AI技术应用下的新功能。

如数字分身应用,可基于音色克隆技术在剪映上线定制数字人音色克隆功能。制作数字人只需录制或上传一段3分钟的高清正面视频,音色克隆只需5秒声音输入,就能生成自然流畅、毫无违和感的声音,还能做各种语言的翻译。“我们很关注隐私和安全问题,在产品设计和技术层面要求用户本人确认,也会关注行业新规,提升服务安全性和可靠性。”陈欣然说道。

此外,还有针对电商商家的“内容营销”创作神器。过去,商家可能要花几个小时刷抖音和TikTok分析爆款带货视频套路,拆解套路、仿写文案,还要花几个小时剪辑,现在只需几分钟,只要填写商品名、上传素材或者粘贴商品页链接,就能一键生成多个不同风格的带货视频。

陈欣然特别提到,除了在已有产品上应用AI,剪映也在探索GenA(生成式人工智能)I时代下AI native(AI原生)产品的可能性,“即梦ai就是这个方向的探索产品,目前正在接入两款视频生成大模型,进行内测的场景打磨和效果打磨。我们认为,创作不应受制作成本、风格或者文化背景的限制,它应该是有趣的、快乐的、自由的。”

谭待也表示,大模型的应用成本已经得到很好解决,“大模型要从卷价格走向卷性能,卷更好的模型能力和服务。”

主题测试文章,只做测试使用。发布者:麻辣财经,转转请注明出处:https://www.huii.cc/show/2013.html

(0)
麻辣财经的头像麻辣财经
上一篇 2024年9月27日 上午11:29
下一篇 2024年9月27日 上午11:29

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注