how to create a tts voice?

[cap-blackbeard]

Hello community.
Does anyone have experience in creating their own tts voice?
Or has anyone dealt with it before?

I met a professional audio book narrator. And he offered to help me.

• Is there a useful online generator?
• Is there material that is suitable for reading aloud?
• Can such a voice be created and expanded using the modular principle?

I am excited.

Regards
Christian

[fquirin]

Hi Christian, you could try to contact @thorstenMueller (homepage). He is very active in the community, has done a lot of recording and is always happy to help people with TTS 😃

[thorstenMueller]

Hi @cap-blackbeard ,
as @fquirin mentioned i might be able to help.
But i'm no professional speaker or voice guy - just having passion for open voice technology.

I've created a video on my Youtube channel showing the technical process how to create your own tts voice. Maybe that's helpful to get into the topic.
https://youtu.be/4YT8WZT_x48

[cap-blackbeard]

Hallo,
ich mache hier jetzt mal auf deutsch weiter.
Herzlichen Dank für Eure Rückmeldung.

@fquirin hast Du die Stimme von @thorstenMueller in SEPIA schon mal installiert? Geht das?
Was muss ich machen um die Stimme zu benutzen? Würde mich interessieren, ob die Leistung vom RPI3 ausreicht?

@thorstenMueller Ich habe mir Dein Video reingezogen und hätte am liebsten direkt docker geöffnet und begonnen. Allerdings habe ich begriffen, dass das Erstellen eine eigenen tts-Stimme eher so etwas wie eine "Lebensaufgabe" ist.
Mein Ziel ist es SEPIA ähnlich wie J.A.R.V.I.S. aus den Marvel-Kinofilmen klingen zu lassen. Also einem männliche, hochdeutsch sprechende, möglichst neutrale, klare Stimme. Und tatsächlich habe ich einen Mann kennen gelernt, der neben seinem eigentlichen Beruf auch professionell Hörbücher einspricht. Er war von meiner grundsätzlichen Idee recht begeistert, so dass er mir zugesagt hat, für mich einzusprechen bzw. jemanden zu vermitteln, der einsprechen würde.
Ist alles noch sehr wenig verbindlich. Ich bin mir auch nicht wirklich sicher, ob es jemanden auf der Welt gibt, der Stunden, Tage oder sogar Monate investiert, um mir eine Stimme einzusprechen. Aber ich kann ja nochmal nachfragen ob er sich sicher ist was ich vorhabe. :-)
So wie ich Dich verstanden habe benötige ich Aufnahmen mindestens im Format .wav. Mono und die Samplerate von 22050Hz kann ich dann selbst konvertieren.
Was für Textmaterial eignet sich für eine solide tts-Basis? Könnte ich auch ggf. bereits eingesprochene Hörbücher verwenden, wenn diese möglichst gleich in der "Stimmlage" sind?

Grüße
Christian

[thorstenMueller]

Hallo @cap-blackbeard ,
dann antworte ich dir auch auf Deutsch.

"Lebensaufgabe" ist wohl etwas viel des Guten, aber es ist auch nichts, was man mal eben an einem Wochenende macht. Die meisten Experimente die ich in dem Bereich kenne arbeiten mit 22kHz Samplerate, aber du kannst höher aufnehmen und dann runterrechnen. Einige Tausend Aufnahmen sollten es schon sein (mit möglichst guter phonemischer Abdeckung). Generell würde ich emfehlen ein Satz pro Wave Datei zu machen.

Bezüglich bestehenden Texten (Corpus) musst du auf Copyright, etc. Aspekte achten und nicht einfach irgendwelches Material verwenden was du findest. Am Ende benötigst du aber x Wavedateien und eine CSV die den Text auf den Dateinamen mappt.

[fquirin]

@fquirin hast Du die Stimme von @thorstenMueller in SEPIA schon mal installiert? Geht das?
Was muss ich machen um die Stimme zu benutzen? Würde mich interessieren, ob die Leistung vom RPI3 ausreicht?

Installiert ja, das geht z.B. via Mimic3 von Mycroft, da es kompatibel zu Mary-TTS ist. Um das dann zu nutzen musst du momentan im Client noch auf Mary-TTS API wechseln bei 'Voice engine'.
Auf einem RPi3 geht das aber leider nicht, selbst der RPi4 kommt da ziemlich ins Schwitzen.

Mein Ziel ist es SEPIA ähnlich wie J.A.R.V.I.S. aus den Marvel-Kinofilmen klingen zu lassen. Also einem männliche, hochdeutsch sprechende, möglichst neutrale, klare Stimme.

Meine Hoffnung dafür liegt zur Zeit in Systemen wie Your-TTS von Coqui. Die sind vortrainiert auf z.B. die Daten von Thorsten und können dann mit deutlich weniger Daten angepasst werden an einen neuen Sprecher. Ich wollte damit mal intensiver experimentieren, hatte aber noch keine Zeit. Als Hardware sollte man vermutlich einen richtigen PC einplanen, aber vielleicht wäre das ja interessant als Start. Ich glaube Your-TTS basiert sogar auf der gleichen Technik wie Mimi3 (VITS end-to-end model) und könnte in Zukunft dann vielleicht auch schnell genug laufen auf kleiner Hardware.