日前昆仑万维方面宣布,正式发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。对此官方表示,这标志着全球AI短剧创作的一次技术飞跃,该平台将会对视频内容创作流程进行全面颠覆,让“一人一剧”的梦想成为现实。
据昆仑万维方面介绍,SkyReels集剧本生成、角色定制、分镜、剧情、对白/BGM,及影片合成等功能于一体,能够让创作者“一键成剧”、轻松制作高质量的AI视频。并且用户仅需输入一个简单的创意或概念,就能完成从剧本到成品短剧的制作全流程。
具体而言,SkyReels能够通过AI一键生成完整的剧本、分镜、人物对白与BGM,并支持对角色形象、音色与分镜的自定义调整,可自动将内容转化为1080p 60帧的高清视频、单次可生成视频长度则达180秒。
其中在剧本情节设计环节,SkyReels将通过分析大量剧本情节,从而生成高质量的故事情节、戏剧冲突、爽点及情感表达,以保证剧本的丰富性与吸引力。而在分镜生成环节,则将根据剧本内容一键生成分镜图片和对应的文字脚本,并且用户也可以自由调整分镜、镜头角度、运镜方式等参数。
而在生成角色对白和BGM环节,该平台会通过情感化语音合成技术,赋予角色自然的句间停顿、情感表达、抑扬顿挫,并基于视频内容自动生成BGM。在最终的视频生成和后期合成环节,其将自动把分镜转化为连续高清视频,并一键整合所有创作成果,还支持多种格式下载、从而方便后期编辑。
在底层技术层面,SkyReels集成了昆仑万维自研的剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen,以及业界首个将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine。据悉,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等)与AI视频大模型的幻想生成能力,并提供全新的线上混合视频创作模式,从而让创作从模煳生成迈向更加精确可控。
据了解,除了AI短剧平台SkyReels,近期昆仑万维方面还发布了全球首个AI流媒体音乐平台Melodio和AI音乐商用创作平台Mureka这2款AI产品。
其中,Melodio平台可根据用户输入的场景或心情相关文案(Prompt),例如“长途驾驶需要振奋精神”或“早晨的第一杯咖啡”,便能持续生成实时创作和个性化的无限量专属AI音乐流媒体,从而满足用户在各种场景下的情绪表达。
对此昆仑万维方面曾表示,在“All in AGI与AIGC”战略的推动下,将始终以“实现通用人工智能,让每个人更好地塑造和表达自我”为使命。
【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】
延伸阅读:
- 昆仑万维连续两年获评“中国互联网综合实力百强企业”
- 昆仑万维:棋先一步,我们不卖API,只卖大模型产品化
未经允许不得转载:零时古怪 - 中国第一时事资讯综合门户 » 昆仑万维发布AI短剧平台SkyReels,可“一键成剧”