阿里开源动作生成模型Wan2.2
9月19日消息,阿里阿里开源全新动作生成模型通义万相Wan2.2-Animate,开源该模型同时支持动画和替换两种模式,动作输入一张角色图片和一段参考视频,生成可将视频角色的模型动作、表情迁移到图片角色中,阿里赋予图片角色动态表现力;同时还可在保留原始视频的开源动作、表情及环境的动作基础上,将视频中的生成角色替换为图片中的角色。该模型支持驱动人物、模型动漫形象和动物照片,阿里可应用于短视频创作、开源舞蹈模板生成、动作动漫制作等领域。生成
去年年初,阿里推出了Animate Anyone模型,基于该模型的「全民舞王」功能一度火爆全网,兵马俑、萌宠跳科目三的视频在社交平台刷屏。但此前的技术框架无法同时控制动作、表情和环境交互,生成的视频依旧存在不自然的问题。
此次,通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。Wan2.2-Animate将角色信息、环境信息和动作等,规范到一种统一的表示格式,实现了单一模型同时兼容两种推理模式;针对身体运动和脸部表情,分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合LoRA,用于保证完美的光照融合效果。
实测结果显示,Wan2.2-Animate在视频生成质量、主体一致性和感知损失等关键指标上,超越了StableAnimator、LivePortrait等开源模型,是目前性能最强的动作生成模型,在人类主观评测中,Wan2.2-Animate甚至超越了以 Runway Act-two代表的闭源模型。
自今年 2 月以来,通义万相已连续开源20多款模型,在开源社区和三方平台的下载量已超3000万,是开源社区最受欢迎的视频生成模型之一。通义万相模型家族已支持文生图、文生视频、图生视频、人声生视频和动作生成等10多种视觉创作能力。
- ·7月智能手表线上零售额环比下降31.9% 苹果零售额份额提升
- ·年金险的保费缴纳方式,年金险怎么缴费最划算
- ·荣威家越07亮相成都⻋展:盲订7天订单破万,有娃家庭占⽐超7成
- ·4090光追打不过9070 XT!国外用户发帖引爆社区争论
- ·缓冲垫尚厚,“零售之王”招行为何转攻为守?|透视金融业年报④
- ·选择定期寿险的目的?选择定期寿险等待期长一点好还是短一点好?
- ·福建省防汛办要求做好台湾以东热带低压防御工作
- ·第二届世界人形机器人运动会100米田径预赛:天工Ultra人形机器人跑出9.39秒,打破博尔特世界纪录
- ·苹果iPhone 18 Pro系列难抢 已延迟3周发货
- ·十几岁的孩子有必要买重疾险吗,十几岁的孩子需要买重疾险吗
- ·曝《魔法少女小圆:魔女之夜的回天》时长120分钟!尚未跳票
- ·各保险公司重疾险,各保险公司的重疾险到底哪个好?
- ·特别好评沙雕肉鸽游戏《终极幸运之塔》现已正式发售
- ·国际足联:对阿根廷足协在世界杯上的违规违纪行为展开调查
- ·怎样生产制作隔热玻璃窗 断桥铝玻璃窗的优势特点,行业资讯
- ·曝《魔法少女小圆:魔女之夜的回天》时长120分钟!尚未跳票
