本地问答知识库的问题

[ByteMelodist]

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

[SimFG]

我猜可能是因为你给的这些里面有重复的，我猜的。因为其大概的原理是根据你的输入，去向量数据库里面找类似的内容，然后把这些内容告诉chatgpt，chatgpt在基于你给的这些内容来回答问题。

[net592]

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

[net592]

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

[ByteMelodist]

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

[net592]

:-) 您好，收到了 ，尽快恢复

[net592]

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

感谢大佬答复共勉，囤了8块V100打算研究下，边缘摸索一头雾水，寻找业务场景.

[Vdan123]

切片问题，导致有些文本的上下文是混乱的，所有在用 embedding query 的方式去找相似性的内容，要么找不到，要么找到的重复内容太多。从两个方面入手吧，数据清理和数据整理，帮助切片的内容构建上下文。

[aoxiaojun666]

如何获取知识库返回的相关性内容数据列表？