添加cli_Llama3.py参考链接

This commit is contained in:
HongCheng 2024-04-20 13:28:58 +09:00
parent f58f6711ca
commit 302c7229a8

View File

@ -261,7 +261,7 @@ xtuner convert merge /root/models/LLM-Research/Meta-Llama-3-8B-Instruct ./hf_lla
## 测试
在EmoLLM的demo文件夹下创建`cli_Llama3.py`注意这里我们采用本地离线测试offline model在线测试可以上传模型到有关平台后再下载测试
在EmoLLM的demo文件夹下创建`cli_Llama3.py`(文件修改自[社区分享](https://github.com/CrazyBoyM/llama3-Chinese-chat),感谢~)注意这里我们采用本地离线测试offline model在线测试可以上传模型到有关平台后再下载测试
```python
from transformers import AutoTokenizer, AutoConfig, AddedToken, AutoModelForCausalLM, BitsAndBytesConfig