New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何基于 GPT2增量训练或微调实现生成式任务 #401

Open

runningabcd opened this issue Apr 17, 2024 · 4 comments

runningabcd commented Apr 17, 2024

训练数据格式如下：
你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

Author

runningabcd commented Apr 17, 2024

@hhou435 大佬，求帮助

Author

runningabcd commented Apr 17, 2024 •

edited

训练数据格式如下：你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

如果是这类数据，训练格式如下：
你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？[SEP]音乐，娱乐
这种符合要求吗？

Author

runningabcd commented Apr 18, 2024

还有个问题是，基于 GPT2增量训练后，预测时发现，模型输出乱码，请问造成这类问题的原因是什么

Author

runningabcd commented Apr 22, 2024

这个项目die？没人维护了？omg

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment