3天斩获9k的Star量 爆火ChatTTS突破开源语音天花板

机器之心报道

编辑:陈萍、佳琪

近日,一个名为 ChatTTS 文本转语音项目爆火出圈,引来大家极大的关注。短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。

项目地址:https://github.com/2noise/ChatTTS/tree/main

作者本人也在 x 上表示,ChatTTS 突破了开源天花板。不过,目前开源的只是底模,没有经过 SFT 监督微调。

该项目将文本转换成语音,效果是这样的:

ChatTTS 不仅能说中文,英文也能 hold 住,还支持一些细粒度控制,它允许你加入笑声、说话间的停顿,还有语气词,可玩性很强。

它可以复刻已经逝去的人的绝版声音,想要再听到乔布斯开发布会,随时都可以。听它模仿霉霉的音色,不论是语调还是语气的变化,都挺接近本人,几乎听不出来 AI 味儿。

中英文混说也能拿捏,这口半英半中的腔调勇闯留子圈,ChatTTS 的语言能力已达到 next level。

以上音频来自 B 站: https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28

从上述展示中我们可以看出,ChatTTS 能够实现自然流畅的语音合成,同时支持多说话人;还能预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等;ChatTTS 在韵律方面超越了大部分开源 TTS 模型。

目前 ChatTTS 支持中文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。

值得一提的是,上述展示的音频都是基于语音合成技术制作,旨在展示技术成果,无意冒犯或侵犯他人权益。

项目一经发布,各路网友纷纷试用起来,给出了声音确实真假难辨。

还有人拿 GPT 生成文本,让 ChatTTS「读」出来,语气语调和真人的差距非常小:

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650919961&idx=3&sn=5fbe8dbaa4e5889ad99db86cbd9b5de6&chksm=84e41067b39399714d6a0d5ad5bb926502ef4ea1c839fd1c68a1e9f2fe0a250fd1b469778110&token=1117574418&lang=zh_CN#rd

效果这么好,自然是想要上手试试。怎样才能用 ChatTTS 当你的嘴替,可以参考如下方法进行操作。

在线体验地址:https://huggingface.co/spaces/Dzkaka/ChatTTS

ChatTTS 主要有两种核心功能,第一种是文字转语音,第二种是将与大语言模型实时语音对话。在这些功能之外,可以在「Audio Seed」处调节数字指定说话人的音色,或者摇骰子随机生成一种。但是有不少测试者表示,每次采用一样的参数,生成的音色也不一定固定。

2Noise 称,目前支持音色克隆,但需要更大的数据量。

在文本框内输入文本后,ChatTTS 会自动为你生成韵律和停顿,还会加入一些如「然后」之类的语气词。如果你在输入时在文本中加入 [laugh] 和 [uv_break],就能手动控制 ChatTTS 在说话间产生一些「笑果」。

不过 ChatTTS 现在还不能搞定比较长的文本,有网友让它挑战了一下有声书,发现初始版本不能生成超过 30 秒的音频,需要手动修复。遇到比较长的文本时,ChatTTS 的分词也会出问题。


自然英语软件好用吗?

《自然英语软件》挺不错的,物超所值哦:)~一亿美金打造的自然英语语音软件,加拿大C&C公司出品,中国发售了,统一售价:人民币58元!学生们可以干些什么呢?快乐记单词:发音纯正自然的单词和例句,帮您牢牢记住单词的发音。 互动的拼写窗口,供您根据发音拼写单词。 个性化的生词本,以作复习之用。 听力突破:可在线更新的海量听力试题库,随机生成英语听力试卷。 语速可任意调节,使您提高听力的路上不再有高门槛。 产品六大特点纯正自然的英语发音我采用的自然语音技术是目前世界上最先进的TTS技术,是世界上最接近人发音的技术。 三种语音可供选择:标准英音、标准美音、日常对话美音 您可以根据不同的需要选择不同的发音。 例如,准备TOEFL可以选择美国英语,准备 雅思可以选择英国英语。 可任意调节朗读速度, 这是数字技术所独有的优势主要产品是《自然英语语音软件企业版》和《自然英语语音软件个人版》。 这是加拿大C&C 等几家世界著名的语音软件公司联手合作,历时五年,耗资一亿多美元,于2001年6月成功开发出了数字化的英语语音软件。 该软件是目前世界上最接近自然语音的数字化语音软件,在欧美基本上替代了基于模拟技术的磁带录音教学。 2002年5月,该技术被中国科学院评为“影响未来生活的20项数字技术”之一。 软件名称:自然语音软件 软件版本:简体中文个人版 软件大小:2CD 运行环境:Win98/Me/2000/XP 上市时间:2004年9月 配置要求:PIII以上、128M内存(256最佳) 主要功能及特点: ·拥有世界上最先进的语音平台: 可朗读输入到计算机中的任何英文文字,发 音纯正、清晰、自然。 语速可任意调节,可无限次地复读。 有男声和女声两 种语音可供选择。 根据发音记单词: 发音纯正的单词和例句,帮您牢牢记住单词的发音。 互动 的拼写窗口,供您根据发音拼写单词。 个性化的生词本,以作复习之用。 内置庞大的听力试题库、场景口语和有声读物: 100多盘磁带容量的听力试 题库,可随机生成英语听力试卷。 3000多组经典场景口语,先进的录音功能, 助您 练就一口地道流利的英语。 100多部经典英文童话、小说,可听可读详细的可以看里面有联系电话等,可以咨询:)~

python中websocket-client包怎么安装?

# install ws4py# pip install ws4py# easy_install ws4pyfrom import WebSocketClientclass DummyClient(WebSocketClient): def opened(self): () def closed(self, code, reason=None): print Closed down, code, reason def received_message(self, m): print mif __name__ == __main__: try: ws = DummyClient(ws://abc:1889/websocket, protocols=[chat]) () _forever() except KeyboardInterrupt: ()

要做一个类似于微信或者QQ的Android、ios的聊天应用,请问服务器端用什么技术或开源框架比较好?

即时聊天通用的协议是 XMPP,基于这个协议有一套java开源的服务端 openfire,可以快速的搭建一套即时聊天服务端。 但是现在有不少云即时通讯服务。 例如 容联云通讯、云之讯、环信、融云这些云服务提供了api,我们基于他的api开发很容易实现自己的即时聊天软件。 服务端,服务器都不用我们自己管了,极大的节省了成本和开发周期。 而且这些云服务基础服务都是免费的。 建议用第三方的云服务实现。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/jinrong/15890.html
还能买到什么通勤好包 预算2k内
神仙球不断!梁靖崑3