2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。
据了解,SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达。SkyReels-V1支持生成大笑、怒吼、惊讶、哭泣等微表情,展现出人物情感丰沛的表演细节。即使有大幅度肢体动作,SkyReels-V1生成的微表情也完美贴合人物肢体表演。
同时,SkyReels-V1为AI视频生成带来了电影级光影美学,基于好莱坞级的高质量影视数据训练,当前SkyReels生成的每一帧画面,在构图、演员站位、相机角度等都具备电影级的质感。无论是单人镜头表演细节,还是多人构图,当前已具备精准的表情控制和高质感画面。
更重要的是,SkyReels-V1不仅支持文生视频、还能支持图生视频,是开源视频生成模型中参数最大的支持图生视频的模型,在同等分辨率下各项指标实现开源SOTA。
能够实现这样的SOTA级别,不仅依赖于昆仑万维SkyReels团队基于自研的高质量数据清洗和人工标注管线,构建了千万级的高质量电影&电视剧&纪录片数据。更依托团队自研「Human-Centric」的视频理解多模态大模型,大幅提升视频中人物相关的理解能力,尤其是自研人物智能解析系统。
为了实现更加精准可控的人物视频生成,昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,对标Runway的Act-One,SkyReels-A1支持视频驱动的电影级表情捕捉,实现高保真微表情还原。能够基于任意人体比例(包括肖像、半身及全身构图)生成高度逼真的人物动态视频,其真实感源自对人物表情变化和情绪的精准模拟、皮肤肌理、身体动作跟随等多维度细节的深度还原。
SkyReels-A1不仅支持侧脸的表情控制生成、还能实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。SkyReels-A1能够实现更大幅度的人物表情驱动。相比Runway的Act-One,SkyReels-A1可以迁移更复杂的表情动作,生成的人物面部神情可以配合肢体及画面内容实现更栩栩如生的表演。
昆仑万维同时将SOTA级别的SkyReels-V1和SkyReels-A1进行开源,是AI短剧行业首例,也是昆仑万维SkyReels回馈行业迈出的一小步,更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。它们将为用户带来低成本、可控性更强的AIGC能力。昆仑万维希望通过更多优秀视频生成模型的开源和极致的AI短剧产品能力,为用户带来低成本实现AI短剧创作的可能性、突破行业目前视频生成一致性差的问题,让大众通过自己的电脑生成精细且可控的人物表演。
公司方面表示,“实现通用人工智能,让每个人更好地塑造和表达自我”是公司的使命,未来,昆仑万维及SkyReels还将开源更多视频生成模型和算法、通用模型,通过开源实现AGI平权,推动AI短剧生态的持续建设和繁荣,促进开源社区、开发生态以及AI行业的发展。(燕云)
校对:冉燕青