bakaEC/olivebot
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
a90f6964ed
olivebot/README.md

98 lines
3.7 KiB
Markdown
Raw Normal View History

Update
2022-06-20 11:05:10 +08:00
<div align="center">
<br>
恢复
2024-02-21 16:12:00 +08:00
<img src="images/icon.png" alt="Fay" />
<h1>Fay开源数字人框架</h1></div>
Update
2022-06-20 11:05:10 +08:00
第4次更新 1、优化prompt; 2、解决日程删除错误； 3、iotm demo tool整体更新。
2023-12-18 16:52:53 +08:00
第3次更新 更换ReAct agent✓ 修复Thread.timer管理逻辑✓ 优化提示词减小返回格式出错概率（格式出错会导致重复执行）✓ 消息窗里加上执行任务标记✓ 更换gpt 3.5模型测试✓
2023-12-14 10:38:08 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
第3次更新 更换ReAct agent✓ 修复Thread.timer管理逻辑✓ 优化提示词减小返回格式出错概率（格式出错会导致重复执行）✓ 消息窗里加上执行任务标记✓ 更换gpt 3.5模型测试✓
2023-12-14 10:38:08 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
如果你需要的是一个人机交互的数字人助理（当然，你也可以命令它开关设备）或者需要把数字人集成到你的产品上，请移步 [`助理完整版`](https://github.com/TheRamU/Fay/tree/fay-assistant-edition)
Update README.md
2023-09-18 10:25:08 +08:00
恢复
2024-02-21 16:12:00 +08:00
如果你需要是一个可以自主决策、主动联系主人的agent，请移步[`agent版`](https://github.com/TheRamU/Fay/tree/fay-agent-edition)
Update
2022-06-20 11:05:10 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
如果你需要是一个线上线下的销售员，请移步[`带货完整版`](https://github.com/TheRamU/Fay/tree/fay-sales-edition)
使用文档：https://qqk9ntwbcit.feishu.cn/wiki/space/7321626901586411523
工作愉快
2024-01-29 18:59:43 +08:00
工作愉快 🌟Fay-agent版： 1、取消重启重置日程功能； 2、上传主动发送微信消息tool(未引入)。 🌟Fay-ue5： 1、发布5.3模型。
2024-03-11 21:10:05 +08:00
年翻更新 助理版： - 代码重构：标准化了交互代码、提高了可阅读性、删除了多余代码 - 数字人接口：多路并发接入支持、按用户路由支持、提高了反应速度、使用http音频地址、优化连接状态的判断逻辑 - 远程音频接口：多路并发接入支持、按用户路由支持、单向传输支持、提高了速度、优化连接状态的判断逻辑 - 文字沟通接口：多路并发接入支持、按用户路由支持 - ui接口：多路并发接入支持、按用户路由支持 - 速度提升：azure tts省去音频转换时间；由轮询交互机制更换成直接交互机制；提高了音频读取速度；去掉所有不必要的sleep；阻塞方法都使用单独线程或协程； - 明确声音输出逻辑：远程音频接口是否回送依据接口参数要求；数字人接口是否推送依据接口是否被连接；本机是否播放依据本机播放声音开关是否打开。 - 3.12兼容性修复：websocket工具类把协程转换成任务；pyqt5更换版本。 - asr多路并发支持 - nlp多路并发支持 - tts多路并发（本来就）支持 - 修复python远程音频demo变态声音问题 - 修复命中qa的判断逻辑 - 增加控制台退出进程命令exit - 优化拾音逻辑：只有在展板播放并且没有使用唤醒功能时才会停止拾音
2024-09-20 00:04:07 +08:00
“用数字人去改变成熟传统软件的交互逻辑”
年翻更新
2024-10-16 20:48:44 +08:00
Fay-助理版
1、更正默认配置；
2、去除麦克风选项（使用系统麦克风）；
3、去掉 eyes(为全新在cv架构做准备)；
4、新增文字语音穿透功能（为统一带货版和agent版做好准备。穿透功能就是把输入的文字直接输出到面板、声音及声音沟通接口和数字人接口，把输入语音直接输出到面板、声音及声音沟通接口和数字人接口。）
4、ollama提示词对接；
5、修复Azure无法修改音色问题；
6、修复wsa_server websocket客户端管理的逻辑问题；
7、修复修复wsa_server websocket线程同步问题。
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
Fay数字人2024.10.09更新：
🌟Fay-助理版
1、 优化文字沟通接口的流式输出逻辑
-- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。
2、 去掉内置ngrok.cc内网穿透代码
-- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。
Fay年翻更新 助理版： - 重写日志系统：适配多用户逻辑下的panel、数字人端、控制台和文件；补充年月日信息。 - 提高代码可读性，整理代码目录区分llm、tts、asr。 - 修复ui显示的远程音频连接状态不更新问题。 - fay对旧版ue兼容性修复。 - 更新metahuman-stream的对接方式：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e - 修复web模式读取控制台输入出错bug - 灵聚nlp接口升级支持多用户对接 - gpt nlp接口prompt部分接入数字人个人信息，并取消个人信息直接命中匹配 - coze nlp升级到v3接口
2024-09-25 21:55:17 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
3、优化ASR处理速度
Fay年翻更新 助理版： - 重写日志系统：适配多用户逻辑下的panel、数字人端、控制台和文件；补充年月日信息。 - 提高代码可读性，整理代码目录区分llm、tts、asr。 - 修复ui显示的远程音频连接状态不更新问题。 - fay对旧版ue兼容性修复。 - 更新metahuman-stream的对接方式：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e - 修复web模式读取控制台输入出错bug - 灵聚nlp接口升级支持多用户对接 - gpt nlp接口prompt部分接入数字人个人信息，并取消个人信息直接命中匹配 - coze nlp升级到v3接口
2024-09-25 21:55:17 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应
年翻更新 助理版： - 代码重构：标准化了交互代码、提高了可阅读性、删除了多余代码 - 数字人接口：多路并发接入支持、按用户路由支持、提高了反应速度、使用http音频地址、优化连接状态的判断逻辑 - 远程音频接口：多路并发接入支持、按用户路由支持、单向传输支持、提高了速度、优化连接状态的判断逻辑 - 文字沟通接口：多路并发接入支持、按用户路由支持 - ui接口：多路并发接入支持、按用户路由支持 - 速度提升：azure tts省去音频转换时间；由轮询交互机制更换成直接交互机制；提高了音频读取速度；去掉所有不必要的sleep；阻塞方法都使用单独线程或协程； - 明确声音输出逻辑：远程音频接口是否回送依据接口参数要求；数字人接口是否推送依据接口是否被连接；本机是否播放依据本机播放声音开关是否打开。 - 3.12兼容性修复：websocket工具类把协程转换成任务；pyqt5更换版本。 - asr多路并发支持 - nlp多路并发支持 - tts多路并发（本来就）支持 - 修复python远程音频demo变态声音问题 - 修复命中qa的判断逻辑 - 增加控制台退出进程命令exit - 优化拾音逻辑：只有在展板播放并且没有使用唤醒功能时才会停止拾音
2024-09-20 00:04:07 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
4、优化TTS速度
年翻更新 助理版： - 代码重构：标准化了交互代码、提高了可阅读性、删除了多余代码 - 数字人接口：多路并发接入支持、按用户路由支持、提高了反应速度、使用http音频地址、优化连接状态的判断逻辑 - 远程音频接口：多路并发接入支持、按用户路由支持、单向传输支持、提高了速度、优化连接状态的判断逻辑 - 文字沟通接口：多路并发接入支持、按用户路由支持 - ui接口：多路并发接入支持、按用户路由支持 - 速度提升：azure tts省去音频转换时间；由轮询交互机制更换成直接交互机制；提高了音频读取速度；去掉所有不必要的sleep；阻塞方法都使用单独线程或协程； - 明确声音输出逻辑：远程音频接口是否回送依据接口参数要求；数字人接口是否推送依据接口是否被连接；本机是否播放依据本机播放声音开关是否打开。 - 3.12兼容性修复：websocket工具类把协程转换成任务；pyqt5更换版本。 - asr多路并发支持 - nlp多路并发支持 - tts多路并发（本来就）支持 - 修复python远程音频demo变态声音问题 - 修复命中qa的判断逻辑 - 增加控制台退出进程命令exit - 优化拾音逻辑：只有在展板播放并且没有使用唤醒功能时才会停止拾音
2024-09-20 00:04:07 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上
Update README.md
2024-04-01 18:09:27 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用）
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
5、优化Q&A文件的应用逻辑
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- 文件格式由excel更换成csv，可以更好兼容linux环境
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
6、完善是否做语音合成的逻辑
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
-- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
7、修正多用户同时与fay聊天时qa日志有可能混乱的问题
年翻更新
2024-09-11 18:31:18 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
9、修复pygame init时无扬声器导致出错
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
🌟Fay-UE5：
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
- 5.4工程，与fay的对接方式更新为流式对接
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
--会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
年翻更新
2024-09-04 18:24:46 +08:00
Update
2022-06-20 11:05:10 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
更多更新日志：https://qqk9ntwbcit.feishu.cn/wiki/UlbZwfAXgiKSquk52AkcibhHngg
Update
2022-06-20 11:05:10 +08:00
Fay年翻更新 助理版： - 重写日志系统：适配多用户逻辑下的panel、数字人端、控制台和文件；补充年月日信息。 - 提高代码可读性，整理代码目录区分llm、tts、asr。 - 修复ui显示的远程音频连接状态不更新问题。 - fay对旧版ue兼容性修复。 - 更新metahuman-stream的对接方式：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e - 修复web模式读取控制台输入出错bug - 灵聚nlp接口升级支持多用户对接 - gpt nlp接口prompt部分接入数字人个人信息，并取消个人信息直接命中匹配 - coze nlp升级到v3接口
2024-09-25 21:55:17 +08:00
联系我们，请关注微信公众号 Fay数字人
2023.01 Fay2.0: 1、控制器pc内网穿透，音频输入输出设备远程直连； 2、提供android 音频输入输出工程示例代码； 3、提供python音频输入输出工程示例代码（远程PC、树莓派等可用）； 4、补传1.0语音指令音乐播放模块（暂不支持远程播放）； 5、重构及补充若干工具模块：websocket、多线程、缓冲器、音频流录制器等； 6、修复1.x版本的多个bug。
2023-01-31 12:40:36 +08:00
Reference in New Issue Copy Permalink