如何提高知识库检索的正确性？

[ryancurry-mz]

场景：QA问答

当前正确率：目前知识库200个问题，正确率70%左右

做了什么：
1、试过用 .json和.txt格式，文本切分后，检索效果不好。
2、利用 .csv格式存储QA，目前看下来这种格式匹配度更高。
3、基于官方给的流程图，看了知识库文件上传-解析成文本-解析成文档-存储的过程。目的是希望通过优化其中一些步骤，提高知识库准确率。一路看下来，发现.csv文件解析比较特殊，是通过row进行切分，把问题和答案存进page_context中，存到向量库。向量成矩阵的过程我没看到。有点不知道如何下手。。

我看到有一个方案，是将问题和答案分别上传，检索正确率会提高。如果是这样做，用户输入的query问题确实可以很好的匹配上问题知识库，但是如何对应上该问题的答案呢？

最后，如果大佬有好的优化意见，请指教。十分感谢！！

QA示例：

[jrd77]

同求

[snowpalm]

个人的经验，提高检索正确性，除了文档切分、向量化等技巧外，LLM模型也很关键，我的一系列试验表明同等条件下ChatGLM3-6B、Baichuan2-7B、Qwen-7B模型等， 专业知识库问答检索效果很不理想，后来换成Qwen-14B-4Bit量化模型（显存受限，v100 32G）后， 效果飙升。 目前限于时间，还没有进行批量自动量化评估。因为这方面花费了很多时间摸索，特分享，仅供参考。

[zzflybird]

个人想法：将问题和答案保存到数据库中的一张表上，共享唯一id。将问题和答案分别上传，用户输入的query问题匹配到问题知识库，得到问题唯一id，通过查表获得答案。

[mabin2016]

这样的话问题和答案是一对一的关系咯？如果多个问题有相同关键字，query出来应该是有多个回答的，这样的话用es存储会好点。

[LiKe-rm]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

[ryancurry-mz]

个人想法：将问题和答案保存到数据库中的一张表上，共享唯一id。将问题和答案分别上传，用户输入的query问题匹配到问题知识库，得到问题唯一id，通过查表获得答案。

感谢解答。通过id将问题和答案关联确实是比较合理的方案，我看看如何实现。

[applepieiris]

其实目前作者对于csv的抽取已经是比较不错的解决方案了，每一行当作一个chunk，match的时候也是把把query和这些内容一起做的相似度计算。

[ryancurry-mz]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

是的，QA形式感觉是最简单的场景了。个人觉得纯文档更依靠大模型的理解和总结能力

[zzflybird]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

是的，QA形式感觉是最简单的场景了。个人觉得纯文档更依靠大模型的理解和总结能力

是的，如果数据量比较少，QA形式的效果比纯文本不处理的效果要好。

[WilliamChen-luckbob]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。
此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

[hihanyi]

我的问题就出在这, 向量化模型搜索并不能很好的拿到Q, 对应中文的支持不够好

[ryancurry-mz]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。 此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

是的，我看了下csv没有进行splitter，这样我能很好的取到QA。此方案需要修改loader的源码，我试了下是OK的，目前不知道有没有其他影响。

另外，我跟了下源码，我有点纳闷，向量库的doc_id和知识库sqlite的doc_id是如何映射的，我利用可视化工具看了info.db的内容，我发现doc_id不一样，不知道是如何匹配上的。

[qqlww1987]

这个您是怎么调整的能参考下吗？谢谢了

[zixiaotan21]

同样想在文档接入部分，以csv的方式上传FAQ 问答对文档。

想问问这段代码的源码是在哪个.py文件呀？

[ryancurry-mz]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。 此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

是的，我看了下csv没有进行splitter，这样我能很好的取到QA。此方案需要修改loader的源码，我试了下是OK的，目前不知道有没有其他影响。

另外，我跟了下源码，我有点纳闷，向量库的doc_id和知识库sqlite的doc_id是如何映射的，我利用可视化工具看了info.db的内容，我发现doc_id不一样，不知道是如何匹配上的。如果您有读到这部分源码的话，可以指点一下，非常感谢。

[cwyalpha]

能否可以实现对csv文档，指定某几列入向量库，在返回的时候是返回对应csv该行的整行内容？

[ryancurry-mz]

两列是可以的，理论上多列也可以。获取row的时候截取前几列进行向量化，后面几列组装成json存入matedata。这样，只要你匹配上前几列的内容就能对应获取整行内容。

[ClayGminx]

把存量的文档转换为QA形式的文档，工作量太大了

[wangzhuzhen]

有时候，即使Q和A 对得上，但 topK大一点或者小一点，甚至即使 topK 保持不变，仍然不能杜绝 AI 返回个东拼西凑的结果。有时候想想，有时间把把存量的文档转换为高质量、低重复性的QA形式的文档， 直接向量化相似性查询，结果就能保证准确性和准确率了，反而没得必要非要将查询结果提交给 AI 再来给你总结一下或者提炼一下

[ClayGminx]

不，很多同事不愿意做

[wangzhuzhen]

说得不要太真实了，哈哈哈
完了还说你知识库回答不准确

[davidjia1972]

如果我已经有了现成的 Q&A 文档，那么怎么做比较好呢？是直接做成 CSV 提交给知识库、自己定义分词器、还是修改代码拿到 Q 的之后自己去某个地方查 A 出来反馈？我的 A 有时候篇幅比较大，啰嗦的地方可能有上千字了。

[black-pwq]

建议先试试Langchain的CSVLoader（本项目可以直接传），先测试向量库查询的怎么样，不用着急上LLM。纯QA用CSV的话基本是看向量库表现的，如果表现不好的话，再考虑自己写（例如只对Q做Embedding）

[xpcc355]

哪种文档切分的效果好一些

[ClayGminx]

我也想知道