初尝 KittenTTS

前言

这几天比较火的一个超轻量 TTS 模型，「Model size less than 25MB」，实属是有些惊人了，并且不需要GPU，用 CPU 即可以完成推理，在边缘设备上都可以使用，比如手机、树莓派等等，贴上官方 repo。

GitHub - KittenML/KittenTTS: State-of-the-art TTS model under 25MB 😻

State-of-the-art TTS model under 25MB 😻 . Contribute to KittenML/KittenTTS development by creating an account on GitHub.

github.com

使用

目前官方给出的还是 nano-0.1 版本，借鉴 ¹ 和 ² 做了个 demo，访问下面链接可以使用，有八种音色可以选。

Demo 从 HuggingFace 动态下载 Kitten TTS Nano-0.1³模型，并使用 ONNX Runtime ⁴在 Web 端执行推理结合选定的声音 embedding。

也可以直接使用 Python 调用，下面给出示例代码 ⁵，使用 Colab CPU，Python 调用默认音色是：expr-voice-5-m。 https://colab.research.google.com/drive/1sbglAac41Lg1NaQBxYLLmpGoO1cZ7WtC?usp=sharing

推理速度还是很快的，尝试了两个句子的推理：

但说实话，这个模型输出的声音有很多软失真，扬声器有点沙沙的声音，某些音色这个问题会减弱一点，音频质量不及官方给出视频中的质量，似乎是因为现阶段给出的 nano-0.1 模型与视频中的模型有出入，官方回应后续会更新模型，但仍是「超轻量」模型。但综合来说在 25M 这个模型大小中，表现得还可以，期待后续模型的更新。

总结

引用 Reddit 评论⁶中的作者回复，"local voice ai is the future"，不是每个人都有 GPU，较小的成本可以实现不错的效果，何乐而不为。

参考