Update README.md
This commit is contained in:
parent
2cce4d44a5
commit
55a9f48b20
@ -10,8 +10,6 @@
|
||||
|
||||
## **数据集**
|
||||
|
||||
数据构建详情参考[qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md)
|
||||
|
||||
- 经过清洗的QA对: 每一个QA对作为一个样本进行 embedding
|
||||
- 经过筛选的TXT文本
|
||||
- 直接对TXT文本生成embedding (基于token长度进行切分)
|
||||
@ -19,6 +17,8 @@
|
||||
- 过滤目录等无关信息后, 对TXT进行语意切分生成embedding
|
||||
- 按照目录结构对TXT进行拆分,构架层级关系生成embedding
|
||||
|
||||
数据集合构建的详情,请参考 [qa_generation_README](https://github.com/SmartFlowAI/EmoLLM/blob/ccfa75c493c4685e84073dfbc53c50c09a2988e3/scripts/qa_generation/README.md)
|
||||
|
||||
## **相关组件**
|
||||
|
||||
### [BCEmbedding](https://github.com/netease-youdao/BCEmbedding?tab=readme-ov-file)
|
||||
@ -32,7 +32,7 @@ LangChain 是一个开源框架,用于构建基于大型语言模型(LLM)
|
||||
|
||||
### [FAISS](https://faiss.ai/)
|
||||
|
||||
Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS,因此本项目中不在基于原生文档开发,[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss)
|
||||
Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以搜索任意大小的向量集。由于langchain已经整合过FAISS,因此本项目中不在基于原生文档开发[FAISS in Langchain](https://python.langchain.com/docs/integrations/vectorstores/faiss)
|
||||
|
||||
|
||||
### [RAGAS](https://github.com/explodinggradients/ragas)
|
||||
@ -56,10 +56,14 @@ RAG的经典评估框架,通过以下三个方面进行评估:
|
||||
- 对召回数据重排序
|
||||
- 依据用户问题和召回数据生成最后的结果
|
||||
|
||||
**Noted**: 当用户选择使用RAG时才会进行上述流程
|
||||
|
||||
### 后续增强
|
||||
|
||||
- 将RAGAS评判结果加入到生成流程中。例如,当生成结果无法解决用户问题时,需要重新生成
|
||||
- 增加
|
||||
- 增加web检索以处理vector DB中无法检索到对应信息的问题
|
||||
- 增加多路检索以增加召回率。即根据用户输入生成多个类似的query进行检索
|
||||
|
||||
|
||||
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user