guo zebin
|
c31193e28f
|
Update README.md
|
2024-10-31 00:01:40 +08:00 |
|
guo zebin
|
791abc22d2
|
Update README.md
|
2024-10-26 11:42:52 +08:00 |
|
guo zebin
|
4cfad5ae0f
|
年翻更新
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
|
2024-10-26 11:34:55 +08:00 |
|
莣仔
|
66580657fc
|
Update README.md
|
2024-10-16 20:49:17 +08:00 |
|
莣仔
|
a90f6964ed
|
年翻更新
|
2024-10-16 20:48:44 +08:00 |
|
guo zebin
|
9e44d08127
|
年翻更新
🌟Fay-助理版
1、 优化文字沟通接口的流式输出逻辑
-- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。
2、 去掉内置ngrok.cc内网穿透代码
-- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。
3、优化ASR处理速度
-- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应
4、优化TTS速度
-- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上
-- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用）
-- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验
5、优化Q&A文件的应用逻辑
-- 文件格式由excel更换成csv，可以更好兼容linux环境
-- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下
-- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制
6、完善是否做语音合成的逻辑
-- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费
7、修正多用户同时与fay聊天时qa日志有可能混乱的问题
8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错
9、修复pygame init时无扬声器导致出错
10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息
🌟Fay-UE5：
- 5.4工程，与fay的对接方式更新为流式对接
--会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
|
2024-10-09 17:52:15 +08:00 |
|
guo zebin
|
5349d500c7
|
Fay年翻更新
助理版：
- 重写日志系统：适配多用户逻辑下的panel、数字人端、控制台和文件；补充年月日信息。
- 提高代码可读性，整理代码目录区分llm、tts、asr。
- 修复ui显示的远程音频连接状态不更新问题。
- fay对旧版ue兼容性修复。
- 更新metahuman-stream的对接方式：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e
- 修复web模式读取控制台输入出错bug
- 灵聚nlp接口升级支持多用户对接
- gpt nlp接口prompt部分接入数字人个人信息，并取消个人信息直接命中匹配
- coze nlp升级到v3接口
|
2024-09-25 21:55:17 +08:00 |
|
guo zebin
|
66b76c9e4e
|
年翻更新
助理版：
- 代码重构：标准化了交互代码、提高了可阅读性、删除了多余代码
- 数字人接口：多路并发接入支持、按用户路由支持、提高了反应速度、使用http音频地址、优化连接状态的判断逻辑
- 远程音频接口：多路并发接入支持、按用户路由支持、单向传输支持、提高了速度、优化连接状态的判断逻辑
- 文字沟通接口：多路并发接入支持、按用户路由支持
- ui接口：多路并发接入支持、按用户路由支持
- 速度提升：azure tts省去音频转换时间；由轮询交互机制更换成直接交互机制；提高了音频读取速度；去掉所有不必要的sleep；阻塞方法都使用单独线程或协程；
- 明确声音输出逻辑：远程音频接口是否回送依据接口参数要求；数字人接口是否推送依据接口是否被连接；本机是否播放依据本机播放声音开关是否打开。
- 3.12兼容性修复：websocket工具类把协程转换成任务；pyqt5更换版本。
- asr多路并发支持
- nlp多路并发支持
- tts多路并发（本来就）支持
- 修复python远程音频demo变态声音问题
- 修复命中qa的判断逻辑
- 增加控制台退出进程命令exit
- 优化拾音逻辑：只有在展板播放并且没有使用唤醒功能时才会停止拾音
|
2024-09-20 00:04:07 +08:00 |
|
莣仔
|
6e7bea14a2
|
年翻更新
|
2024-09-11 18:31:18 +08:00 |
|
莣仔
|
7ef0dc27ab
|
年翻更新
|
2024-09-04 18:24:46 +08:00 |
|
莣仔
|
d45106468a
|
年翻更新
|
2024-08-29 10:14:32 +08:00 |
|
莣仔
|
9e3abf7595
|
年翻更新
|
2024-08-07 18:31:52 +08:00 |
|
莣仔
|
7f422ca5cd
|
Update README.md
|
2024-07-31 20:07:46 +08:00 |
|
莣仔
|
583bffcf45
|
年翻更新
|
2024-07-24 20:08:11 +08:00 |
|
莣仔
|
31223f959d
|
年翻更新
|
2024-07-17 18:15:22 +08:00 |
|
莣仔
|
0ea0a46291
|
年翻更新
|
2024-07-10 18:42:47 +08:00 |
|
莣仔
|
6d4ea5a94a
|
年翻更新
|
2024-07-03 18:57:57 +08:00 |
|
莣仔
|
75e1caccd3
|
Fay年翻更新
|
2024-06-26 18:08:09 +08:00 |
|
莣仔
|
812c9f3079
|
年翻更新
|
2024-06-19 18:48:13 +08:00 |
|
莣仔
|
ccaebad3d6
|
年翻更新
|
2024-06-12 18:31:24 +08:00 |
|
莣仔
|
3b575fb6b0
|
年翻更新
|
2024-06-05 17:24:20 +08:00 |
|
莣仔
|
58fd76ba96
|
Fay年翻更新
|
2024-05-22 18:16:34 +08:00 |
|
莣仔
|
c7fa8650c8
|
年翻更新
|
2024-05-15 21:28:16 +08:00 |
|
莣仔
|
35130a0dd5
|
年翻更新
|
2024-05-15 17:46:27 +08:00 |
|
莣仔
|
e5ba7fcad8
|
年翻更新
|
2024-04-22 18:23:56 +08:00 |
|
莣仔
|
0cedd6b29b
|
年翻更新
|
2024-04-22 17:52:47 +08:00 |
|
莣仔
|
8888b3647a
|
Update README.md
|
2024-04-15 17:38:43 +08:00 |
|
xszyou
|
3bf941a792
|
年翻更新
🌟Fay-agent版：
1. 优化gpt兼容接口（为ue新工程架构准备）。
🌟Fay-助理版：
1. *支持azure最新情感音频；
2. 优化gpt兼容接口（为ue新工程架构准备）。
🌟Fay-带货版：
1. *支持azure最新情感音频。
|
2024-04-09 09:48:28 +08:00 |
|
莣仔
|
6c56c5355f
|
Update README.md
|
2024-04-01 18:09:27 +08:00 |
|
莣仔
|
154c8b447f
|
年翻
|
2024-04-01 18:07:29 +08:00 |
|
莣仔
|
63826d2324
|
年翻
|
2024-03-25 19:26:28 +08:00 |
|
莣仔
|
9d9c70bc53
|
工作愉快
|
2024-03-18 18:54:55 +08:00 |
|
xszyou
|
31c1a4d79e
|
工作愉快
🌟Fay-agent版：
1、取消重启重置日程功能；
2、上传主动发送微信消息tool(未引入)。
🌟Fay-ue5：
1、发布5.3模型。
|
2024-03-11 21:10:05 +08:00 |
|
莣仔
|
41415ad89f
|
工作愉快
|
2024-03-04 18:37:26 +08:00 |
|
莣仔
|
38140da9bd
|
工作愉快
|
2024-02-27 11:20:48 +08:00 |
|
莣仔
|
64e4213cae
|
恢复
|
2024-02-21 16:12:00 +08:00 |
|
莣仔
|
b39a2e0eb2
|
首次上传
|
2024-02-21 15:44:42 +08:00 |
|
xszyou
|
67a5ade64d
|
Update README.md
|
2024-02-05 22:41:03 +08:00 |
|
xszyou
|
931bf952c7
|
工作愉快
更新仓库说明
|
2024-02-05 19:53:22 +08:00 |
|
wangzai23333
|
d34bed5db9
|
Update README.md
|
2024-01-29 19:02:24 +08:00 |
|
wangzai23333
|
dd867b9a0a
|
工作愉快
|
2024-01-29 18:59:43 +08:00 |
|
xszyou
|
16f8d599d7
|
工作愉快
删库跑路了？
|
2024-01-08 18:32:23 +08:00 |
|
xszyou
|
22d1e4ce10
|
元旦快乐
2024.01.01:
openai token计算✓
优化ReAct Agent 与 LLM Chain自动切换逻辑✓
*添加双记忆机制：长时记忆流及短时聊天记忆✓
修复record.py asr bug✓
提高远程音频（android 连接器）的稳定性✓
修复执行时间计算bug✓
优化语音输出逻辑✓
|
2024-01-01 22:53:06 +08:00 |
|
xszyou
|
cd4d6b6a84
|
补充新群入口
|
2023-12-25 22:56:32 +08:00 |
|
xszyou
|
01c19c13e8
|
工作愉快
*实现agent ReAct与LLM chain自动切换逻辑✓
聊天窗区分任务消息✓
修复删除日程bug✓
优化远程音频逻辑✓
等待处理引入加载中效果✓
优化prompt以解决日程任务递归调用问题✓
修复一次性日程清除的bug✓
|
2023-12-25 22:13:09 +08:00 |
|
xszyou
|
e48b8d8a2d
|
第4次更新
1、优化prompt;
2、解决日程删除错误；
3、iotm demo tool整体更新。
|
2023-12-18 16:52:53 +08:00 |
|
xszyou
|
a27ab9dfba
|
第3次更新
更换ReAct agent✓
修复Thread.timer管理逻辑✓
优化提示词减小返回格式出错概率（格式出错会导致重复执行）✓
消息窗里加上执行任务标记✓
更换gpt 3.5模型测试✓
|
2023-12-14 10:38:08 +08:00 |
|
xszyou
|
d68e759873
|
紧急修复
1、修复agent run的结果文字显示、保存DB✓
2、区分文字输入和语音输入✓
3、修复Speech.close bug✓
4、增加个人信息存入向量库✓
5、修复处理时间计算不准确✓
6、修复gpt key出错✓
|
2023-12-12 18:23:43 +08:00 |
|
xszyou
|
875ed28b58
|
初始上传
初始上传
|
2023-12-12 00:03:36 +08:00 |
|
guo zebin
|
41b16d7681
|
Update README.md
公布Ai Agent版进展
|
2023-10-16 20:21:53 +08:00 |
|