OliveSensorAPI/scripts/qa_generation/README.md

# RAG数据库构建流程

## **构建目的**

利用心理学专业的书籍构建QA知识对，为RAG提供心理咨询知识库，使我们的EmoLLM的回答更加专业可靠。为了实现这个目标我们利用几十本心理学书籍来构建这个RAG知识库。主要的构建流程如下：

## **构建流程**

## **步骤一：PDF to TXT**

- 目的
  - 将收集到的PDF版本的心理学书籍转化为TXT文本文件，方便后续的信息提取。

- 所需工具

  - [pdf2txt](https://github.com/SmartFlowAI/EmoLLM/blob/main/scripts/pdf2txt.py)

  - [PaddleORC处理PDF用法参考](https://github.com/SmartFlowAI/EmoLLM/blob/main/generate_data/OCR.md)
  
  - 安装必要的python库
  
   ```python
   pip install paddlepaddle
   pip install opencv-python
   pip install paddleocr
   ```

- 注意
  - 如果无法使用**pip install paddleocr**安装paddleocr，可以考虑采用whl文件安装，[下载地址](https://pypi.org/project/paddleocr/#files) 
  - 脚本启动方式采用命令行启动：python  pdf2txt.py  [PDF存放的文件名]

## **步骤二：筛选PDF**

- 筛选目的

  - 利用LLM去除非专业心理学书籍

- 筛选标准，包含心理咨询相关内容，如：

  - 心理咨询流派 - 具体咨询方法 
  - 心理疾病 - 疾病特征
  - 心理疾病 - 治疗方法

- 筛选方式：

  - 根据标题初筛   

  - 若无法判断属于心理咨询相关书籍，利用kimi/GLM-4查询是否包含心理咨询相关知识（建议一次仅查询一本书）

  - ```markdown
    参考prompt:
    你是一位经验丰富的心理学教授，熟悉心理学知识和心理咨询。我需要你协助我完成"识别书籍是否包含心理咨询知识"任务，请深呼吸并一步步思考，给出你的答案。如果你的答案让我满意，我将给你10w小费！
    具体任务如下：
    判断该书籍中是否包含以下心理咨询相关知识：
    '''
    心理咨询流派 - 具体咨询方法 
    心理疾病 - 疾病特征
    心理疾病 - 治疗方法
    '''
    请深呼吸并一步步查看该书籍，认真完成任务。
    ```


## **步骤三：提取QA对**

- 根据书籍内容，利用LLM高效构造QA知识对
- 提取流程

  - 准备处理好的txt文本数据
  - 按要求配置[脚本文件](https://github.com/SmartFlowAI/EmoLLM/tree/main/scripts/qa_generation)
  - 根据自己的需求或者提取的结果合理修改window_size和overlap_size

- 使用方法
  - 检查 `requirements.txt` 中的依赖是否满足。
  - 调整代码中 `system_prompt`，确保与repo最新版本一致，保证生成QA的多样性和稳定性。
  - 将txt文件放到与 `model`同级目录 `data`文件夹中.
  - 在 `config/config.py` 配置所需的 API KEY，从 `main.py` 启动即可。生成的 QA 对会以 jsonl 的格式存在 `data/generated` 下。

- API KEY 获取方法
  - 目前仅包含了 qwen。
  - Qwen
    - 前往[模型服务灵积-API-KEY管理 (aliyun.com)](https://dashscope.console.aliyun.com/apiKey)，点击”创建新的 API-KEY“，将获取的 API KEY 填至 `config/config.py` 中的 `DASHSCOPE_API_KEY` 即可。

- 注意事项
  - 系统提示 System Prompt
    - 注意，目前的解析方案是基于模型会生成 markdown 包裹的 json 块的前提的，更改 system prompt 时需要保证这一点不变。
  - 滑动窗口 Sliding Window
    - 滑动窗口的 `window_size` 和 `overlap_size` 都可以在 `util/data_loader.py` 中的 `get_txt_content` 函数中更改。目前是按照句子分割的滑动窗口。

- 书本文件格式 Corpus Format
  - 目前仅支持了 txt 格式，可以将清洗好的书籍文本放在 `data` 文件夹下，程序会递归检索该文件夹下的所有 txt 文件。

## **步骤四：清洗QA对**

- 清洗目的

  - 提高提取的QA数据质量，清理掉与心理学无关的QA对

- 清洗方法

  - 使用Prompt方法，驱动LLM对给出的QA对进行判断

  - **参考Prompt**

  - ```markdown
    你是一名经验丰富的心理咨询师，熟悉心理学相关知识。根据我提供的 QA 对，来判断这个 QA 对是否属于心理学范畴。
    
    标准如下：
    
    - 若当前 QA 对属于心理学范畴，则返回1
    - 若当前 QA 对不属于心理学范畴，则返回0
    
    
    以下是给定的心理学 QA 对内容：
    ```

- 清洗工具
  - 配置`config/config.py` 中的 `DASHSCOPE_API_KEY`,`API_KEY`获取方法见步骤三
  - 使用提供的清洗脚本[QA_Clear](https://github.com/SmartFlowAI/EmoLLM/blob/main/scripts/qa_generation/QA_clean.py)

- 使用方法
  - 准备好需要清洗的 QA 对数据
  - 将该数据放进 model 同级 data 文件夹下
  - 根据文件夹名去修改 `config/config.py` 中的 `judge_dir`。
  - 如存储数据的文件名为`xxx`，则`judge_dir`是 `judge_dir = os.path.join(data_dir, 'xxx')`
  - 清洗完的 QA 对会以 `jsonl` 的格式存在 `data/cleaned` 下