4cfad5ae0f
- 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
32 lines
1.5 KiB
Plaintext
32 lines
1.5 KiB
Plaintext
|
||
1、vllm启动chatglm
|
||
|
||
conda create -n vllm python=3.10
|
||
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia
|
||
|
||
启动
|
||
python -m vllm.entrypoints.openai.api_server --tensor-parallel-size=1 --trust-remote-code --max-model-len 1024 --model THUDM/chatglm3-6b
|
||
|
||
python -m vllm.entrypoints.openai.api_server --host 127.0.0.1 --port 8101 --tensor-parallel-size=1 --trust-remote-code --max-model-len 1024 --model THUDM/chatglm3-6b
|
||
|
||
测试
|
||
curl http://127.0.0.1:8101/v1/completions \
|
||
-H "Content-Type: application/json" \
|
||
-d '{
|
||
"model": "THUDM/chatglm3-6b",
|
||
"prompt": "请用20字内回复我,你今年多大了",
|
||
"max_tokens": 20,
|
||
"temperature": 0
|
||
}'
|
||
|
||
多轮对话
|
||
curl -X POST "http://127.0.0.1:8101/v1/completions" \
|
||
-H "Content-Type: application/json" \
|
||
-d "{\"model\": \"THUDM/chatglm3-6b\",\"prompt\": \"你叫什么名字\", \"history\": [{\"role\": \"user\", \"content\": \"你出生在哪里.\"}, {\"role\": \"assistant\", \"content\": \"出生在北京\"}]}"
|
||
|
||
|
||
多轮对话
|
||
curl -X POST "http://127.0.0.1:8101/v1/chat/completions" \
|
||
-H "Content-Type: application/json" \
|
||
-d "{\"model\": \"THUDM/chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.\"}, {\"role\": \"user\", \"content\": \"你好，给我讲一个故事，大概100字\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"
|