当前位置:首页 > 技术类 > AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

微信用户2年前 (2023-05-11)技术类1401

AI孙燕姿这么快翻唱了这么多首歌,到底是咋实现的?

关键在于一个开源项目

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

最近,这波AI翻唱趋势大火,不仅是AI孙燕姿唱的歌越来越多,AI歌手的范围也在扩大,就连制作教程都层出不穷了。

而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

它提供了一种音色替换的办法,项目在今年3月发布。

贡献成员应该大部分都来自国内,其中贡献量最高的还是一位玩明日方舟的广西老表。

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

如今,项目已经停止更新了,但是星标数量还在蹭蹭上涨,目前已经到了8.4k。

所以它到底实现了哪些技术能引爆这波趋势?

一起来看。

多亏了一个开源项目

这个项目名叫SoftVC VITS Singing Voice Conversion(歌声转换)。

它提供了一种音色转换算法,采用SoftVC内容编码器提取源音频语音特征,然后将矢量直接输入VITS,中间不转换成文本,从而保留了音高和语调。

此外,还将声码器改为NSF HiFiGAN,可以解决声音中断的问题。

具体分为以下几步:

  • 预训练模型

  • 准备数据集

  • 预处理

  • 训练

  • 推理

其中,预训练模型这步是关键之一,因为项目本身不提供任何音色的音频训练模型,所以如果你想要做一个新的AI歌手出来,需要自己训练模型。

而预训练模型的第一步,是准备干声,也就是无音乐的纯人声。

很多博主使用的工具都是UVR_v5.5.0

推特博主@歸藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC 4.0只认这个格式,方便后面处理。

想要效果好一些,需要处理两次背景音,每次的设置不同,能最大限度提高干声质量。

得到处理好的音频后,需要进行一些预处理操作。

比如音频太长容易爆显存,需要对音频切片,推荐5-15秒或者再长一点也OK。

然后要重新采样到44100Hz和单声道,并自动将数据集划分为训练集和验证集,生成配置文件。再生成Hubert和f0。

接下来就能开始训练和推理了。

具体的步骤可以移步GitHub项目页查看(指路文末)

值得一提的是,这个项目在今年3月上线,目前贡献者有25位。从贡献用户的简介来看,很多应该都来自国内。

据说项目刚上线时也有不少漏洞并且需要编程,但是后面几乎每一天都有人在更新和修补,现在的使用门槛已经降低了不少。

目前项目已经停止更新了,但还是有一些开发者创建了新的分支,比如有人做出了支持实时转换的客户端。

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

项目贡献量最多的一位开发者是Miuzarte,从简介地址判断应该来自广西。

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

随着想要上手使用的人越来越多,也有不少博主推出了上手难度更低、更详细的食用指南。

歸藏推荐的方法是使用整合包来推理(使用模型)和训练,还有B站的Jack-Cui展示了Windows下的步骤指南(https://www.bilibili.com/read/cv22375562)

需要注意的是,模型训练对显卡要求还是比较高的,显存小于6G容易出现各类问题。

Jack-Cui建议使用N卡,他用RTX 2060 S,训练自己的模型大概用了14个小时

训练数据也同样关键,越多高质量音频,就意味着最后效果可以越好。

还是会担心版权问题

值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。

警告:请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果,由您自行承担责任。存储库及其维护者、svc开发团队,与生成结果无关!

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出

这和AI画画爆火时有点相似。

因为AI生成内容的最初数据取材于人类作品,在版权方面的争论不绝于耳。

而且随着AI作品盛行,已经有版权方出手下架平台上的视频了。

据了解,一首AI合成的《Heart on My Sleeve》在油管和Tik Tok上爆火,它合成了Drake和Weekend演唱的版本。

但随后,Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了,并在声明里向潜在的仿冒者发问,“是要站在艺术家、粉丝和人类创造性表达的一边,还是站在Deepfake、欺诈和拒付艺术家赔偿的一边?”

此外,歌手Drake也在ins上对AI合成翻唱歌曲表达了不满。

而另一边,也有人选择拥抱这项技术。

加拿大歌手Grimes表示,她愿意让别人使用自己的声音合成歌曲,但是要给她一半版权费。

GitHub地址:
https://github.com/svc-develop-team/so-vits-svc

参考链接:
[1]
https://mp.weixin.qq.com/s/bXD1u6ysYkTEamt-PYI1RA
[2]https://www.vulture.com/article/ai-singers-drake-the-weeknd-voice-clones.html


一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

本篇文章来源于微信公众号:                 量子位

免责声明
    本网站在国家相关法律法规规定的范围内,只按现有状况提供文章发布第三方网络平台服务,本网站及其所有者非交易一方,也非交易任何一方之代理人或代表;同时,本网站及其所有者也未授权任何人代表或代理本网站及其所有者从事任何网络交易行为或做出任何承诺、保证或其他类似行为,除非有明确的书面授权。
    鉴于互联网的特殊性,本网站无法鉴别和判断相关交易各主体之民事权利和行为能力、资质、信用等状况,也无法鉴别和判断虚拟交易或正在交易或已交易之虚拟物品来源、权属、真伪、性能、规格、质量、数量等权利属性、自然属性及其他各种状况。因此,交易各方在交易前应加以仔细辨明,并慎重考虑和评估交易可能产生的各项风险。

扫描二维码推送至手机访问。

版权声明:本文由点度点度金讯时代-BLOG发布,如需转载请注明出处。

本文链接:https://lmwmm.com/post/745.html

标签: 孙燕姿

“AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出” 的相关文章

在 Raspberry Pi 上使用 Python 播放声音

在 Raspberry Pi 上使用 Python 播放声音

今天,我需要在 Python 脚本中通过树莓派上的 USB 音频设备播放 MP3 或 WAV 文件。“应该很容易吧! ”我想!好吧,几个小时后,我决定写这篇博客文章来记录最简单的方法,因为我不得不花费相当长的时间才能到达真正通过...

谷歌CEO要求全员测试Bard AI聊天机器人

谷歌CEO要求全员测试Bard AI聊天机器人

2月16日早间消息,据报道,当地时间周三,谷歌母公司Alphabet CEO桑达尔·皮查伊发送内部备忘录,要求谷歌员工贡献2至4个小时,帮助该公司改善其人工智能(AI)聊天机器人Bard。这封邮件称,谷歌目前急需采取行动,赢得下一代AI搜索...

曾经比快播还火的 App,竟然又复活了。。

曾经比快播还火的 App,竟然又复活了。。

此前,微博话题“有哪些曾经很火,但消失了的APP”引发广大网友热议,有很多网友提到了“音悦台”.经过漫长的等待,音悦台终于要回归了!据音悦台官方透露,它们的产品已经开始内测,并即将推出,“我们曾经很火,但是并没有消失只是冬眠了…”今日,音悦...

通過CE修改器來跑滿百度網盤和迅雷的下載速度! Cheat Engine 7.5

通過CE修改器來跑滿百度網盤和迅雷的下載速度! Cheat Engine 7.5

1.Cheat Engine 是一款內存修改編輯工具 ,它允許你修改你的遊戲或軟件內存數據,以得到一些其他功能。它包括16進制編輯,反彙編程序,內存查找工具。與同類修改工具相比,它具有強大的反彙編功能,且自身附帶了外掛製作工具,可...

ChatGPT能上传文件了,文档图片数据集秒理解,代码一键执行

ChatGPT能上传文件了,文档图片数据集秒理解,代码一键执行

梦晨 发自 凹非寺量子位 | 公众号 QbitAIChatGPT又出试验型新模式,不少网友陆续收到代码解释器Alpha测试资格。简单来说,这个模式提供两个功能:执行Python代码,接受文件上传下载。为什么是这两个功能的组合?可以看目前最火...

谷歌全面开放AI 对话机器人Bard,“人人”可用【附教程】

谷歌全面开放AI 对话机器人Bard,“人人”可用【附教程】

自从ChatGPT发布后,微软借助ChatGPT技术升级Bing搜索、office办公软件等一系列操作,给谷歌造成了很大的压力。但是,毕竟瘦死的骆驼比马大,作为早早以“AI First”作为公司战略的搜索巨头,实力不容小觑。这不,在今天凌晨...