Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

对向量库的操作提供统一的接口 #3627

Draft
wants to merge 1 commit into
base: dev_file_rag
Choose a base branch
from

Conversation

liunux4odoo
Copy link
Collaborator

  • 参考 llama-index 添加 VectorStoreIndex[VectorStore],统一对向量库的操作。除了 add/delete, 添加 upsert/get_by_ids 操作。
  • 利用 memoization 重写 FAISS 的缓存功能,只保留写入竞争,解除检索竞争。当磁盘文件更新时自动刷新缓存。
  • 参考 llama-index 添加支持更多功能的 TextNode[Document]
  • 后续:重写 kb_cache 和 kb_service 模块

补充:VectorStoreIndex 本身的许多逻辑是从 kb_service 中抽取出来的,是一个标准的 langchain.VectorStore,具有更广泛的应用面,可以嵌入到任意 langchain 工作流中。

…lete, 添加 upsert/get_by_ids 操作

- 利用 memoization 重写 FAISS 的缓存功能,只保留写入竞争,解除检索竞争。当磁盘文件更新时自动刷新缓存。
- 参考 llama-index 添加支持更多功能的 TextNode[Document]

- 后续:重写 kb_cache 和 kb_service 模块
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

None yet

1 participant