Update README.md

This commit is contained in:
edward_ke 2024-03-16 08:32:35 +08:00
parent 2cce4d44a5
commit 55a9f48b20

View File

@ -10,8 +10,6 @@
## **数据集**
数据构建详情参考[qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md)
- 经过清洗的QA对: 每一个QA对作为一个样本进行 embedding
- 经过筛选的TXT文本
- 直接对TXT文本生成embedding (基于token长度进行切分)
@ -19,6 +17,8 @@
- 过滤目录等无关信息后, 对TXT进行语意切分生成embedding
- 按照目录结构对TXT进行拆分构架层级关系生成embedding
数据集合构建的详情,请参考 [qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md)
## **相关组件**
### [BCEmbedding](https://github.com/netease-youdao/BCEmbedding?tab=readme-ov-file)
@ -32,7 +32,7 @@ LangChain 是一个开源框架用于构建基于大型语言模型LLM
### [FAISS](https://faiss.ai/)
Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS因此本项目中不在基于原生文档开发[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss)
Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS因此本项目中不在基于原生文档开发[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss)
### [RAGAS](https://github.com/explodinggradients/ragas)
@ -56,10 +56,14 @@ RAG的经典评估框架通过以下三个方面进行评估:
- 对召回数据重排序
- 依据用户问题和召回数据生成最后的结果
**Noted**: 当用户选择使用RAG时才会进行上述流程
### 后续增强
- 将RAGAS评判结果加入到生成流程中。例如当生成结果无法解决用户问题时需要重新生成
- 增加
- 增加web检索以处理vector DB中无法检索到对应信息的问题
- 增加多路检索以增加召回率。即根据用户输入生成多个类似的query进行检索