OliveSensorAPI/rag/src/main.py

44 lines
1.2 KiB
Python
Raw Normal View History

2024-03-21 22:43:09 +08:00
from pipeline import EmoLLMRAG
2024-03-24 15:18:35 +08:00
from util.llm import get_glm
2024-03-18 10:33:01 +08:00
from loguru import logger
'''
1构建完整的 RAG pipeline输入为用户 query输出为 answer
2调用 embedding 提供的接口对 query 向量化
3下载基于 FAISS 预构建的 vector DB 并检索对应信息
4调用 rerank 接口重排序检索内容
5调用 prompt 接口获取 system prompt prompt template
6拼接 prompt 并调用模型返回结果
2024-03-07 18:05:10 +08:00
2024-03-18 10:33:01 +08:00
'''
2024-03-07 18:05:10 +08:00
if __name__ == "__main__":
2024-03-24 15:48:59 +08:00
query = """
我现在处于高三阶段感到非常迷茫和害怕我觉得自己从出生以来就是多余的没有必要存在于这个世界
无论是在家庭学校朋友还是老师面前我都感到被否定我非常难过对高考充满期望但成绩却不理想
2024-03-24 15:48:59 +08:00
"""
2024-03-24 15:18:35 +08:00
"""
输入:
model_name='glm-4',
api_base="https://open.bigmodel.cn/api/paas/v4",
temprature=0.7,
streaming=False,
输出
LLM Model
"""
model = get_glm()
"""
输入:
LLM model
retrieval_num=3
rerank_flag=False
select_num-3
"""
rag_obj = EmoLLMRAG(model)
res = rag_obj.main(query)
logger.info(res)
2024-03-21 22:43:09 +08:00