bakaEC/olivebot
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
150 Commits 2 Branches 0 Tags 157 MiB
87ed1c4425
Commit Graph

57 Commits

Author SHA1 Message Date
xszyou
87ed1c4425 Fay年翻更新 
- 升级Agent（chat_module=agent切换）：升级到langgraph react agent逻辑、集成到主分支fay中、基于自动决策工具调用机制、基于日程跟踪的主动沟通、支持外部观测数据传入；
- 修复因线程同步问题导致的配置文件读写不稳定
- 聊天采纳功能的bug修复
 2024-11-20 23:44:47 +08:00
xszyou
f871b6a532 Merge branch 'main' of https://github.com/xszyou/Fay 2024-11-19 00:26:55 +08:00
莣仔
fa92b8e124 年翻更新 
1、接口新增错误处理机制；
2、nlp_gpt代码重构；
3、首页新增服务器麦克风控制；
4、首页新增服务器扬声器控制；
5、优化socket10001映射到websocket连接；
6、新增未启动时也可以在控制台输入exit进行关闭；
7、新增10002数字人接口传入Output参数可设定不合成音频；
8、处理音色接口格式报错问题；
9、取消edge_tts版本限定；
10、优化手动采纳错误处理。
 2024-11-13 18:01:03 +08:00
xszyou
4bcb28e182 紧急修复 
修复麦克风热启动的bug.
 2024-11-07 11:30:21 +08:00
莣仔
19e5273fb0 年翻更新 
1、qa自动缓存改为手动采纳；
2、socket10001映射到websocket 9001；
3、修复声音沟通接口无法收音问题；
4、修复阿里云不稳定问题；
 2024-11-06 18:42:52 +08:00
莣仔
8efec0355d 年翻更新 
1、qa自动缓存改为手动采纳；
2、socket10001映射到websocket 9001；
3、修复声音沟通接口无法收音问题；
4、修复阿里云不稳定问题；
 2024-11-06 18:34:56 +08:00
guo zebin
10d419e1e6 紧急更新 
1、删除意外出的语音合成开关；
2、唤醒、麦克风、扬声器可以启动后开启和关闭。
 2024-11-01 09:18:19 +08:00
莣仔
059b6cee6d 年翻更新 
1、修复服务器ip配置，配置页没替换问题；
2、修复开启状态偶尔没对齐问题；
3、修复关闭时关闭按钮停留在关闭中问题；
4、修复星座读取错误问题；
5、修复刷新重复提醒开启问题；
6、新增是否进行语音合成的选择；
7、文字沟通接口加入“观察描述”；
8、聊天记录时间改为毫秒级；
9、补充数字人和远程音频的连接状态显示；
10、修复备注填写无法保存问题。
 2024-10-30 19:11:15 +08:00
xszyou
28c7097af4 紧急修复 
更新依赖
 2024-10-28 19:27:44 +08:00
guo zebin
4cfad5ae0f 年翻更新 
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
 2024-10-26 11:34:55 +08:00
莣仔
64e4213cae 恢复 2024-02-21 16:12:00 +08:00
莣仔
b39a2e0eb2 首次上传 2024-02-21 15:44:42 +08:00
xszyou
16f8d599d7 工作愉快 
删库跑路了？
 2024-01-08 18:32:23 +08:00
xszyou
22d1e4ce10 元旦快乐 
2024.01.01:
openai token计算✓
优化ReAct Agent 与 LLM Chain自动切换逻辑✓
*添加双记忆机制：长时记忆流及短时聊天记忆✓
修复record.py asr bug✓
提高远程音频（android 连接器）的稳定性✓
修复执行时间计算bug✓
优化语音输出逻辑✓
 2024-01-01 22:53:06 +08:00
xszyou
01c19c13e8 工作愉快 
*实现agent ReAct与LLM chain自动切换逻辑✓

聊天窗区分任务消息✓

修复删除日程bug✓

优化远程音频逻辑✓

等待处理引入加载中效果✓

优化prompt以解决日程任务递归调用问题✓

修复一次性日程清除的bug✓
 2023-12-25 22:13:09 +08:00
xszyou
d68e759873 紧急修复 
1、修复agent run的结果文字显示、保存DB✓
2、区分文字输入和语音输入✓
3、修复Speech.close bug✓
4、增加个人信息存入向量库✓
5、修复处理时间计算不准确✓
6、修复gpt key出错✓
 2023-12-12 18:23:43 +08:00
xszyou
875ed28b58 初始上传 
初始上传
 2023-12-12 00:03:36 +08:00
xszyou
894a9b6ea4 提交Fay AI Agent版计划 
提交Fay AI Agent版计划
 2023-09-18 10:17:31 +08:00
xszyou
528d326314 今天星期三 
1、数字人连接提示词修改;
2、 Q&A填写demo修复;
3、 安装包错误修复。
 2023-09-06 18:16:10 +08:00
xszyou
580264169f 今天星期三 
1、 调整gpt的消息记录方式;
2、*q&a支持RPA自动化脚本。
 2023-08-30 18:29:08 +08:00
xszyou
c01256e8dc 今天周三 
1、 更换gpt对接方式;
2、增加chatglm2对接。
 2023-08-23 18:38:42 +08:00
xszyou
c8ca0dee43 周末愉快 
周末愉快
 2023-08-18 23:00:57 +08:00
xszyou
d7519a2768 今天星期三 
+ 优化UE反复重连系统资源占用太高的问题；
+ 自动控制是否启动面板播放；
+ 自动删除运行日志；
 2023-08-16 19:19:17 +08:00
xszyou
98f83e242f 紧急修复ws连接问题 2023-08-15 10:23:11 +08:00
xszyou
f4752fbe5b 今天星期三 
去除mp3格式警告信息；
去除灵聚、渡鸦接口警告信息； websocket逻辑优化；
 数字人端接口通讯优化。
 2023-08-09 18:06:27 +08:00
xszyou
ba6972a647 周末愉快 
1、唇型计算的视音素更换成33毫秒；
2、内置rwkv_api nlp可以直接使用；
3、降低情绪性向数字人端推送的频度；
4、非数字人连接状态不产生接口消息；
5、修复因mp3格式错误而导致一定概率不推送播放信息给数字人端的问题；
6、修复静音等指令执行时提前结束nlp逻辑，而导致用户提问消息不推送数字人端问题；
7、补充wav文件启动清理；
8、websocket工具类升级完善。
 2023-08-04 19:13:28 +08:00
xszyou
c99ee0cc5a 今天星期三 
+ 修复连接数字人之前产生大量ws信息问题；
+ 增加数字人（ue、live2d、xuniren）通讯接口：实时日志；
+ 更新数字人（ue、live2d、xuniren）通讯接口：音频推送。
 2023-07-26 18:11:52 +08:00
xszyou
fb8caf7645 20230719 
1、修复远程语音不识别问题；
2、修复asr时有不灵问题；
3、去除唱歌指令；
 2023-07-19 22:45:03 +08:00
xszyou
5d4bac29b8 20230714 
1、修复linux及mac运行出错问题；
2、修复因唇型出错无法继续执行问题；
3、提供rwkv对接方案。
 2023-07-14 23:34:53 +08:00
xszyou
b53bc6e124 修复麦克风&文字回复问题 
1、修复助理版文字输入不读取人设回复问题；
2、修复助理版文字输入不读取qa回复问题；
3、增强麦克风接入稳定性。
 2023-07-12 18:56:17 +08:00
xszyou
5c5e9d08bd 修复声音播放问题 
1、修复唇形算法运行出错而导致的声音不播放问题。
 2023-07-05 22:21:20 +08:00
xszyou
8a4c9d7329 重构nlp模块逻辑 
+ 重构NLP模块管理逻辑，便于自由扩展；
+ gpt：拆分为ChatGPT及GPT、更换新的GPT接口、可单独配置代理服务器；
+ 指定yolov8包版本，解决yolo不兼容问题；
+ 修复：自言自语bug、接收多个待处理消息bug。
 2023-06-28 19:44:34 +08:00
xszyou
750e77e8b1 集成灵聚NLP api及UI修正 
1、集成灵聚NLP api(支持GPT3.5及多应用)；
 2、ui修正。
 2023-06-21 17:54:26 +08:00
xszyou
ec482dd31e 集成本地唇型算法 
集成本地唇型算法
 2023-06-17 00:14:12 +08:00
xszyou
7c67bb5858 助理版多处优化 
1、解决多声道麦克风兼容问题；
2、重构fay_core.py及fay_booter.py代码；
3、ui适应布局调整；
4、恢复男女声音选择；
5、”思考中...“显示逻辑修复。
 2023-06-14 20:34:36 +08:00
xszyou
ae1d2ae292 多模态的支持 
+ 修复多个bug：消息框换行及空格问题、语音识别优化；
+ 彩蛋转正，Fay沟通与ChatGPT并行；
+ 加入yolov8姿态识别；
+ 加入VisualGLM-6B多模态单机离线大语言模型。
 2023-05-27 17:03:43 +08:00
andrew lee
ba9a1f65e6
Merge branch 'TheRamU:main' into main 2023-05-23 23:20:22 +08:00
xszyou
3373a9f56f 修复多个bug 
1、修复feifei重复创建导致商端口冲突的bug;
2、更换pygame初始化方式；
3、修复chatgpt（彩蛋）多论对话逻辑；
4、修复js "s"未定义bug。
 2023-05-23 00:49:31 +08:00
andrew lee
f76f92f187
Update fay_core.py 解决面板播放没有停止录音的bug 2023-05-22 02:31:14 +08:00
xszyou
023df4deb1 上传彩蛋 
1、上传chatgpt彩蛋；
2、修复音频合成过长不播放问题。
 2023-05-19 18:12:02 +08:00
xszyou
524e4d0e65 提供funasr集成 
1、修正语音和文字的交互逻辑；
2、提供funasr的可选集成。
 2023-05-17 18:38:47 +08:00
xszyou
d90d699b58 Fay数字人助理版提交 
+ 打出Fay数字人助理版作为主分支（带货版移到分支[`fay-sales-edition`]）；
+ 添加Fay助理的文字沟通窗口（文字与语音同步）；
+ 添加沟通记录本地保存功能；
+ 升级ChatGLM-6B的应用逻辑，长文本与语音回复分享；
 2023-05-12 18:56:36 +08:00
xszyou
57b362fa6b 提高抖音字幕监听的稳定性及包兼容性 
1、清除旧逻辑代码；
2、优化监听逻辑；
3、调整包版本的兼容性python3.8、3.9、3.10。
 2023-04-24 12:46:17 +08:00
xszyou
d405442e27 20230417 
1、修复上次更新带来的mac bug;
2、提高抖音抓取消息的稳定性（注意使用说明）；
 2023-04-17 18:28:18 +08:00
xszyou
d80543684a 20230423 
1、抖音直播互动数据对接更换成系统代理抓包pd解码的方式（运行直播伴侣即可）；
2、修复若干逻辑及说明错误。
 2023-04-13 09:44:36 +08:00
xszyou
a42a72081d 3月更新 
1、web socket接口增加数字人文字内容同步，以便数人字可以远程运行；
2、优化数字人数据web socket同步逻辑；
3、更改gpt 3.5对接方式.
 2023-03-29 17:30:26 +08:00
xszyou
2dca3ad6db 20230315 
1、增加edge-tts语音合成（免费）可替换azure-tts(支持情绪化语音)；
2、替换flask发行版运行方式。
 2023-03-15 02:22:50 +08:00
xszyou
068f4d7d17 20230224 
1、更新utils路径bug;
2、更正readme说明；
3、去除python自带包的安装。
 2023-02-24 11:44:22 +08:00
xszyou
77b2c0a479 2023.02.10 
1、加入了NLP三选一:xfaiui、yuan、chatgpt；
2、修复由pyaudio bug导致的录音错误；
3、修改远程音频输入输出设备同时只允许连1个；
 2023-02-10 19:50:47 +08:00
xszyou
cfd4a3fbbd 2023.02.09 
1、降低音量识别阈值；
2、修改ngrok是否开启判断逻辑；
3、修改js uuid 生成方式；
4、优化android demo：破音问题、服务运行状态判断问题。
 2023-02-09 12:55:16 +08:00