关于向量的可解释性问题

[Gladiator566]

您好，非常棒的工作，我一直在使用bge系列模型，但目前有一个疑问，就是是否可以得知原文本中哪些关键词片段对于最终embedding表征的贡献是最大的？是否可以引入关键词权重的信息，人工的去控制感兴趣部分的关键词片段在生成embedding向量时具有更高的权重呢？请问咱们是否有过这方面的研究或者好的参考建议，谢谢！

[staoxiao]

Thanks for your feedback~
Embedding models are a black box, so it‘s difficult to finely control the generation process of embedding.
One possible way to let the model pay more attention to keywords is to add the keywords to the beginning of the sentence. For example: 关键词-1 关键词-1 关键词-2 关键词-2 原始文章