日前，阿里云方面宣布自研AI肖像视频生成框架“EMO”（Emote Portrait Alive）已接入通义App，并向所有用户免费开放。

据了解，EMO框架可以用于生成“对口型”视频，用户只需输入人物照片及音频（说话、唱歌、rap均可），就能够让照片中的人物开口说出相关音频，并支持中英韩等多种语言。而生成视频的最终长度，则取决于输入音频的长度。

据悉，EMO基于英伟达的Audio2Video扩散模型打造，使用了超过250个小时的专业视频和超过1.5亿张图像进行训练，相关训练分为图像预训练、视频训练和速度层训练三个阶段。其中在图像预训练阶段，网络以单帧图像为输入进行训练；在视频训练阶段，引入时间模块和音频层，处理连续帧；速度层训练则专注于调整角色头部的移动速度和频率。

目前，通义App已首批上线超80个EMO模板，包括热门歌曲《上春山》、《野狼Disco》，以及网络热梗“钵钵鸡”、“回手掏”等，用户任选一款模板，然后上传一张肖像照片就能合成演戏、唱歌视频。但需要注意的是，目前通义App暂未开放自定义音频功能，即用户暂时无法自行上传音频内容进行合成。

据了解，通义App是阿里云多项AI技术的重要落地和应用场景。例如此前曾走红的全民舞王应用，便是基于阿里通义实验室自研的Animate Anyone算法打造，并集成多项创新技术，包括引入ReferenceNet用于捕捉和保留原图像信息，可高度还原人物、表情及服装细节，还使用了高效的Pose Guider姿态引导器 ，确保动作的精准可控，并通过时序生成模块保障视频帧之间的连贯流畅性等。

此外基于通义千问大模型，近期通义App还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• AI「搅动」云计算，阿里云推动算力底层变革
• 阿里云盘SVIP新增多项第三方权益，限时免费领取

未经允许不得转载：零时古怪 - 中国第一时事资讯综合门户 » 阿里云自研AI肖像视频生成框架已接入通义App