模型下载地址:https://huggingface.co/damo-vilab/dreamtalk
如果要评选2023年的品牌黑马，活力28一定榜上有名。
项目体验网址:https://top.aibase.com/tool/wild2avatar
看上去，这种「简单的美好」很容易实现，但为何其他游戏难以复刻?事实上，这背后有着多个结实的骨架在支撑着。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。