Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BUG]无法正确读取的特定文本 & 尾音无法读完 #237

Open
laishujie opened this issue May 21, 2024 · 7 comments
Open

[BUG]无法正确读取的特定文本 & 尾音无法读完 #237

laishujie opened this issue May 21, 2024 · 7 comments
Labels
bug Something isn't working

Comments

@laishujie
Copy link

Describe the bug
1.在WEB界面测试中,无论是使用参卡音频还是随即说话人,都无法正确读取文本“123456789ABCDEFG”。
2.在WEB界面测试中,生成的尾音,最后一个字无法读完.往往是在一半就停止了

To Reproduce

python tools/webui.py \
    --llama-checkpoint-path "checkpoints/text2semantic-sft-medium-v1.1-4k.pth" \
    --llama-config-name dual_ar_2_codebook_medium \
    --decoder-config-name vits_decoder_finetune \
    --decoder-checkpoint-path "checkpoints/vits_decoder_v1.1.ckpt"

1.在WEB界面中,将文本“123456789ABCDEFG”输入, 播放或听取生成的语音输出。
2.在WEB界面中,将文本 “由 Fish Audio 研发的基于 VQ-GAN 和 Llama 的多语种语音合成.”

Expected behavior
1.准确发出特定文本
2.最后一个音读完

Screenshots / log

Additional context
问题1语音: 123456789ABCDEFG

output.mp4

问题2语音:由 Fish Audio 研发的基于 VQ-GAN 和 Llama 的多语种语音合成.

output2.mp4
@laishujie laishujie added the bug Something isn't working label May 21, 2024
@ScottishFold007
Copy link

这种是不是你切的数据里,尾音就被切掉了?

@funying
Copy link

funying commented May 22, 2024

目前我也有这个问题,大部分语句生成正常,少部分抽卡的时候,语句在最后的尾音仓促结束,像被吞掉的感觉。

@Xiaodu233
Copy link

我也遇到了,用的是VQ-GAN生成的模型进行推理,开始十几次使用正常,生成到一定次数后,就会出现语句在最后一个字仓促结束,只说一半。

@Xiaodu233
Copy link

我也遇到了,用的是VQ-GAN生成的模型进行推理,开始十几次使用正常,生成到一定次数后,就会出现语句在最后一个字仓促结束,只说一半。

应该是在迭代提示长度较短,在64以内的时候最容易出现

@aixiaodewugege
Copy link

这种是不是你切的数据里,尾音就被切掉了?

遇到同样的问题,请问你是如何切的能保证尾音不被切掉?我用的 gpt sovits 提供的切割代码。

@zsh123abc
Copy link

可以试一下slicer-gui切割语音

@hotdogarea
Copy link

目前我也有这个问题,大部分语句生成正常,少部分抽卡的时候,语句在最后的尾音仓促结束,像被吞掉的感觉。

都是这样,最后一个字偶尔会被吞掉,可以多训练lora来merge

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

7 participants