From 55a9f48b2048cdb375fc8a10de9c7eb8543f9490 Mon Sep 17 00:00:00 2001 From: edward_ke Date: Sat, 16 Mar 2024 08:32:35 +0800 Subject: [PATCH] Update README.md --- rag/README.md | 12 ++++++++---- 1 file changed, 8 insertions(+), 4 deletions(-) diff --git a/rag/README.md b/rag/README.md index c2e98b4..9c16408 100644 --- a/rag/README.md +++ b/rag/README.md @@ -10,8 +10,6 @@ ## **数据集** -数据构建详情参考[qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md) - - 经过清洗的QA对: 每一个QA对作为一个样本进行 embedding - 经过筛选的TXT文本 - 直接对TXT文本生成embedding (基于token长度进行切分) @@ -19,6 +17,8 @@ - 过滤目录等无关信息后, 对TXT进行语意切分生成embedding - 按照目录结构对TXT进行拆分，构架层级关系生成embedding +数据集合构建的详情，请参考 [qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md) + ## **相关组件** ### [BCEmbedding](https://github.com/netease-youdao/BCEmbedding?tab=readme-ov-file) @@ -32,7 +32,7 @@ LangChain 是一个开源框架，用于构建基于大型语言模型（LLM） ### [FAISS](https://faiss.ai/) -Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS，因此本项目中不在基于原生文档开发，[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss) +Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS，因此本项目中不在基于原生文档开发[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss) ### [RAGAS](https://github.com/explodinggradients/ragas) @@ -56,10 +56,14 @@ RAG的经典评估框架，通过以下三个方面进行评估: - 对召回数据重排序 - 依据用户问题和召回数据生成最后的结果 +**Noted**: 当用户选择使用RAG时才会进行上述流程 + ### 后续增强 - 将RAGAS评判结果加入到生成流程中。例如，当生成结果无法解决用户问题时，需要重新生成 -- 增加 +- 增加web检索以处理vector DB中无法检索到对应信息的问题 +- 增加多路检索以增加召回率。即根据用户输入生成多个类似的query进行检索 +