请问如何正确撰写Prompt Template?

[ChiNoel-osu]

我使用的模型是 zephyr-7B-beta-AWQ

它的Prompt Template是长这样的:

<|system|>
</s>
<|user|>
{prompt}</s>
<|assistant|>

我在configs\prompt_config.py中加入了以下的Prompt:

"zephyr":
        '<|system|>'
        'You are a helpful assistance who only uses Chinese. 你是一个有用的纯中文语言助手，绝对只使用中文。</s>'
        '<|user|>'
        '{{ input }}</s>'
        '<|assistant|>',

但是LLM的回答好像不太对劲，前面有时还会多一个"{ output }"，我感觉可能是Prompt没搞对。
我也试过了知识库问答:

"zephyr":
        '<|system|>'
        'You are a helpful assistance who only uses Chinese. 你是一个有用的纯中文语言助手，绝对只使用中文。</s>'
        '<|user|>'
        '注意并记住下面的信息，这将有助于在上下文结束后回答问题或祈使句。'
        '{{ context }}'
        '仅根据上述上下文中提供的文档来源中的信息，使用中文回答问题：{{ question }}</s>'
        '<|assistant|>',

召回文本是正确的，但回答效果跟我用的其他项目相比差了很多，请问各位这块我是哪里搞错了吗😪

[dosubot[bot]]

🤖

你好，@ChiNoel-osu！我是Dosu，一个可以帮助你解决问题、回答疑惑并成为贡献者的机器人。虽然我是一个机器人，但我在此为你提供帮助，期间我们也等待人类的维护者。我期待与你开展友好、有效的交流。

您在撰写Prompt Template时，需要遵循Jinja2语法，使用双大括号{{ }}来代替f-string的单大括号。在Langchain-Chatchat中，LLM对话支持的变量有：

• input：用户输入内容

知识库和搜索引擎对话支持的变量有：

• context：从搜索结果拼接的知识文本
• question：用户提出的问题

Agent对话支持的变量有：

• tools：可用工具列表
• tool_names：可用工具名称列表
• history：用户和Agent的对话历史
• input：用户输入内容
• agent_scratchpad：Agent的思考记录

以下是一个zephyr-7B-beta-AWQ模型的Prompt Template示例：

PROMPT_TEMPLATES = {
    "zephyr_7B_beta_AWQ": {
        "default":
            'You are a knowledgeable AI with access to a vast amount of information. '
            'Please answer the following question to the best of your ability:\n\n'
            'Question: {{ question }}\n'
            'Context: {{ context }}\n',

        "with_history":
            'You are a knowledgeable AI with access to a vast amount of information. '
            'You are currently in a conversation with a human. Here is the conversation history:\n\n'
            '{history}\n'
            'Human: {input}\n'
            'AI:',

        "py":
            'You are a smart code assistant, please write me some simple py code. \n'
            '{{ input }}',
    },
}

在这个示例中，"default"模板在没有对话历史时使用，"with_history"模板在有对话历史时使用，"py"模板在用户请求Python代码时使用。

请将"zephyr_7B_beta_AWQ"替换为您实际使用的模型名称。

参考资料：

• configs/prompt_config.py.example

如果您在使用过程中仍有问题，欢迎继续提问。

Sources

• configs/prompt_config.py.example

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[ChiNoel-osu]

@dosu-bot
感谢告知相应变量。但请问在Langchain-Chatchat中，prompt_config.py中设置的提示词模板是在替换相应变量后直接传入LLM中处理的么？zephyr-7B-beta-AWQ模型会用到非标准自定义模板，我希望可以正确使用它们。

[dosubot]

🤖

Yes, the prompt templates in prompt_config.py of Langchain-Chatchat are directly passed into the LLM for processing after variable substitution. The templates use Jinja2 syntax, which is similar to Python's f-string syntax but uses double braces instead of single braces.

As for the zephyr-7B-beta-AWQ model, it depends on the specific requirements of the model. If the model can accept and process the same variables and format as specified in the prompt_config.py file, then it should be able to use these templates. However, if the model requires a different format or different variables, then the templates would need to be adjusted accordingly.

The context provided does not specify the requirements of the zephyr-7B-beta-AWQ model, so it's not possible to definitively say whether the existing templates can be used without modification.

The prompt_config.py file in Langchain-Chatchat uses Jinja2 syntax for prompt templates. The templates are defined in a dictionary named PROMPT_TEMPLATES, where each key represents a different type of chat and the value is another dictionary containing different templates for that chat type.

Here is the structure and syntax of the prompt templates:

1. llm_chat: This is for language model chat. It supports the variable input which represents the user's input content. It has three templates: default, with_history, and py.

2. knowledge_base_chat: This is for knowledge base and search engine chat. It supports the variables context (knowledge text from search results) and question (user's question). It has three templates: default, text, and empty.

3. search_engine_chat: This is for search engine chat. It supports the variables context (knowledge text from search results) and question (user's question). It has two templates: default and search.

4. agent_chat: This is for agent chat. It supports the variables tools (available tool list), tool_names (available tool names), history (user and agent conversation history), input (user input content), and agent_scratchpad (agent's thought records). It has two templates: default and ChatGLM3.

The variables are enclosed in double curly braces {{ }} in the templates. For example, {{ input }} will be replaced by the user's input content.

You can find more details in the configs/prompt_config.py.example file in the Langchain-Chatchat repository.

Sources

• configs/prompt_config.py.example

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[ChiNoel-osu]

@dosu-bot How do I know what is the final prompt that is passed into the LLM? Is there any CLI parameter I can set so it will show up in stdout?

[dosubot]

🤖

Yes, there is a way to determine the final prompt that is passed into the Language Learning Model (LLM) in Langchain-Chatchat and it can be displayed in the standard output (stdout) through a Command Line Interface (CLI) parameter.

In the provided context, the LLMChain class is initialized with the verbose=True parameter. This means that the class will print verbose output to the standard output (stdout), which includes the final prompt that is passed into the LLM.

To display the final prompt, you can modify the LLMChain class to print the final prompt when the verbose parameter is True. Here is an example of how you can do this:

class LLMChain:
    def __init__(self, prompt, llm, verbose=False):
        self.prompt = prompt
        self.llm = llm
        self.verbose = verbose

    def __call__(self, input):
        final_prompt = self.prompt.format(input=input)
        if self.verbose:
            print(f"Final prompt: {final_prompt}")
        return self.llm(final_prompt)

In this example, the __call__ method of the LLMChain class formats the prompt with the input and stores it in the final_prompt variable. If the verbose parameter is True, it then prints the final_prompt to the standard output (stdout). The __call__ method then returns the result of calling the LLM with the final_prompt.

Please note that this is a simplified example and the actual implementation may vary depending on the specifics of the LLMChain class and the LLM.

Regarding your question about a Command Line Interface (CLI) parameter, currently, there is no CLI parameter that can be used to set the verbose parameter of the LLMChain class in the Langchain-Chatchat codebase. The verbose parameter is set in the basic_config.py.example file as langchain.verbose = False. This means that the verbosity of the logging is set in the configuration file and not via a CLI parameter.

However, if you want to add such functionality, you can modify the code to accept command line arguments using libraries like argparse or click. Here is an example using argparse:

import argparse

parser = argparse.ArgumentParser(description='Set verbose mode.')
parser.add_argument('--verbose', dest='verbose', action='store_true',
                    help='set verbose mode')

args = parser.parse_args()

langchain.verbose = args.verbose

In this code, you can run your script with the --verbose flag to set langchain.verbose to True. If the flag is not provided, langchain.verbose will be False.

I hope this helps! If you have any other questions, feel free to ask.

Sources

• chains/llmchain_with_history.py
• configs/basic_config.py.example

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.