OliveSensorAPI/rag/src/main.py

43 lines
1.0 KiB
Python
Raw Normal View History

2024-03-21 22:43:09 +08:00
from pipeline import EmoLLMRAG
2024-03-24 15:18:35 +08:00
from util.llm import get_glm
2024-03-18 10:33:01 +08:00
from loguru import logger
'''
1构建完整的 RAG pipeline输入为用户 query输出为 answer
2调用 embedding 提供的接口对 query 向量化
3下载基于 FAISS 预构建的 vector DB 并检索对应信息
4调用 rerank 接口重排序检索内容
5调用 prompt 接口获取 system prompt prompt template
6拼接 prompt 并调用模型返回结果
2024-03-07 18:05:10 +08:00
2024-03-18 10:33:01 +08:00
'''
2024-03-07 18:05:10 +08:00
if __name__ == "__main__":
2024-03-24 15:48:59 +08:00
query = """
我现在经常会被别人催眠做一些我不愿意做的事情是什么原因
2024-03-24 15:48:59 +08:00
"""
2024-03-24 15:18:35 +08:00
"""
输入:
model_name='glm-4',
api_base="https://open.bigmodel.cn/api/paas/v4",
temprature=0.7,
streaming=False,
输出
LLM Model
"""
model = get_glm()
"""
输入:
LLM model
retrieval_num=3
rerank_flag=False
select_num-3
"""
rag_obj = EmoLLMRAG(model)
res = rag_obj.main(query)
logger.info(res)
2024-03-21 22:43:09 +08:00