AI翻唱火爆,多亏这个开源项目!
一、AI翻唱趋势大火
最近,AI翻唱的潮流越来越火爆。不仅AI孙燕姿翻唱的歌越来越多,连AI歌手的范围也在不断扩大。而这一切的关键,都要归功于一个名为so-vits-svc的开源项目。这个项目从今年3月发布以来,一直受到广泛关注。
二、如何实现AI翻唱
这个项目名为SoftVC VITS Singing Voice Conversion(歌声转换)。它利用SoftVC内容编码器提取源音频语音特征,然后直接输入VITS进行音色转换,保留了原始音高和语调。此外,它还使用了NSF HiFiGAN声码器,解决了声音中断的问题。
具体步骤如下:
1. 准备干声:使用工具如UVR_v5.5.0处理无音乐的纯人声。
2. 预处理操作:对音频进行切片、重新采样、划分训练集和验证集,生成配置文件。
3. 生成Hubert和f0:进行音频处理操作,以提高干声质量。
4. 训练和推理:使用训练集进行模型训练,然后进行推理操作。
这个项目于今年3月上线,目前已有25位贡献者。这些贡献者中,大部分应该来自国内。项目上线初期虽然存在一些漏洞和编程问题,但是后来不断有人进行更新和修补,使用门槛也大大降低。
三、如何上手使用这个项目
随着使用人数的增加,很多博主都推出了更加简易、详细的使用指南。有的博主推荐使用整合包进行训练和推理,有的博主则在B站上分享了Windows下的具体步骤指南。
需要注意的是,模型训练对显卡要求较高,显存小于6G可能会出现各种问题。建议使用N卡进行训练,训练数据的质量越高,效果也会越好。
总结
AI翻唱趋势火爆,so-vits-svc开源项目是其背后的功臣。通过SoftVC VITS Singing Voice Conversion算法,实现了音色转换,保留了原始音高和语调。该项目于今年3月上线,目前已经停止更新。想要上手使用的人越来越多,也有不少博主推出了上手难度更低、更详细的食用指南。
感谢您的阅读和关注!