fay: Fay是一個完整的開源項目，包含Fay控制器及數字人模型，可靈活組合出不同的應用場景：虛擬主播、現場推銷貨、商品導購、語音助理、遠程語音助理、數字人互動、數字人面試官及心理測評、賈維斯、Her。

消息格式: 查看WebSocket.md

與遠程音頻輸入輸出設備連接（非必須,外網需要配置http://ngrok.cc tcp通道的clientid）

控制器與採用socket(非websocket) 方式與音頻輸出設備通訊

外網通訊地址: 通過http://ngrok.cc獲取（有夥伴願意贊助服務器給社區免費使用嗎？）

消息格式: 參考remote_audio.py

二、Fay控制器核心邏輯

注：

1、去API及會話管理功能將在下一版本發布；

2、以上每個模塊可輕易替換成自家核心產品。

3、本地nlp（rasa+chatglm）的替換方法（https://m.bilibili.com/video/BV1D14y1f7pr?wxfid=o7omF0Vs6RIQFUGAzB6LXOBHa6Yg）： 1、安裝啟動chatglm(github) 2、安裝rasa 包：rasa、rasa-sdk 3、進入test/rasa目錄啟動actions：rasa run actions 4、啟動rasa api server：rasa run –enable-api -p 5006 5、fay_core.py 引入nlp_rasa.py

目錄結構

.
├── main.py					# 程序主入口
├── fay_booter.py			# 核心启动模块
├── config.json				# 控制器配置文件
├── system.conf				# 系统配置文件
├── ai_module
│   ├── ali_nls.py			# 阿里云 实时语音
│   ├── ms_tts_sdk.py       # 微软 文本转语音
│   ├── xf_aiui.py          # 讯飞 人机交互-自然语言处理
│   ├── chatgpt.py          # gpt3.5对接
│   ├── yuan_1_0.py          # 浪潮.源大模型对接
│   └── xf_ltp.py           # 讯飞 性感分析
├── bin                     # 可执行文件目录
├── core                    # 数字人核心
│   ├── fay_core.py         # 数字人核心模块
│   ├── recorder.py         # 录音器
│   ├── tts_voice.py        # 语音生源枚举
│   ├── viewer.py           # 抖音直播间接入模块
│   └── wsa_server.py       # WebSocket 服务端
├── gui                     # 图形界面
│   ├── flask_server.py     # Flask 服务端
│   ├── static
│   ├── templates
│   └── window.py           # 窗口模块
├── scheduler
│   └── thread_manager.py   # 调度管理器
└── utils                   # 工具模块
    ├── config_util.py      
    ├── storer.py
    └── util.py

三、升級日誌

2023.04：

• 抖音直播互動數據對接更換成系統代理抓包pd解碼的方式（運行直播伴侶即可）；
• 提供本地nlp的對接代碼(rasa+chatglm)；
• 修復若干邏輯及說明錯誤；
• 提高抖音字幕監聽的穩定性及包兼容性；
• 更新gpt接口：局部接入代理、prompt上補充角色模擬及簡化回复內容（感謝江湖墨明）；
• 修復控制台輸入測試消息的bug；
• 補充推薦兩個優秀倉庫：chatglm、全平台的抖音抓包。

2023.03：

• 增加edge-tts語音合成（免費）可替換azure-tts(支持情緒化語音)；
• 替換flask發行版運行方式；
• web socket接口增加數字人文字內容同步，以便數人字可以遠程運行；
• 優化數字人數據web socket同步邏輯；
• 更改gpt 3.5對接方式。

2023.02：

• 提供chatgpt及yuan1.0作為選擇。

2023.01：

• 控制器pc內網穿透，音頻輸入輸出設備遠程直連；
• 提供android 音頻輸入輸出工程示例代碼；
• 提供python音頻輸入輸出工程示例代碼（遠程PC、樹莓派等可用）；
• 補傳1.0語音指令音樂播放模塊（暫不支持遠程播放）；
• 重構及補充若干工具模塊：websocket、多線程、緩衝器、音頻流錄製器等；
• 修復1.x版本的多個bug；
• 集成看板娘;

2022.12：

• 上傳bin目錄（用於直播互動）；

2022.11：

• 更新抖音直播獲取粉絲互動數據的xpath;

2022.10.27：

• 更新mac上的麥克風參數；
• 解決mac上無法重啟問題；
• 上傳brew安裝腳本。

2022.10.17：

• 更新語音指令；
• 補充人設語法；

四、安裝說明

環境

• Python 3.8.0 +
• Chrome 瀏覽器(若不開啟直播功能，可跳過)

安裝依賴

pip install -r requirements.txt

配置應用密鑰

• 查看AI 模塊
• 瀏覽鏈接，註冊並創建應用，將應用密鑰填入 ./system.conf 中

啟動

啟動Fay控制器

AI 模塊

啟動前需填入應用密鑰

五、使用說明

使用說明

• 抖音虛擬主播：啟動bin/Release_2.85/2.85.exe + fay控制器（抖音輸入源開啟、展板播放關閉）+ 數字人+ 抖音伴侶（測試時直接通過瀏覽器打開別人的直播間）；
• 現場推銷貨：fay控制器（展板播放關閉、填寫商品信息）+ 數字人；
• 商品導購：fay控制器（麥克風輸入源開啟、展板播放關閉、填寫商品信息、填寫商品Q&A）+ 數字人；
• 語音助理：fay控制器（麥克風輸入源開啟、展板播放開啟）；
• 遠程語音助理：fay控制器（展板播放關閉）+ 遠程設備接入；
• 數字人互動：fay控制器（麥克風輸入源開啟、展板播放關閉、填寫性格Q&A）+ 數字人；
• 數字人面試官及心理測評：聯繫免費領取；
• 賈維斯、Her：加入我們一起完成。

語音指令

• 關閉核心
  關閉再見你走吧
• 靜音
  靜音閉嘴我想靜靜
• 取消靜音
  取消靜音你在哪呢？你可以說話了
• 播放歌曲（網易音樂庫不可用，尋找替代中） 播放歌曲播放音樂唱首歌放首歌聽音樂你會唱歌嗎？
• 暫停播放
  暫停播放別唱了我不想听了

圖形界面

人設

數字人屬性，與用戶交互中能做出相應的響應。

交互靈敏度

在交互中，數字人能感受用戶的情感，並作出反應。最直的體現，就是語氣的變化，如開心/傷心/生氣等。設置靈敏度，可改變用戶情感對於數字人的影響程度。

接收來源

抖音

填入直播間地址，實現與直播間粉絲交互

麥克風

選擇麥克風設備，實現面對面交互，成為你的伙伴

socket遠程音頻輸入

可以接入遠程音頻輸入，遠程音頻輸出

商品欄

填入商品介紹，數字人將自動講解商品。

當用戶對商品有疑問時，數字人可自動跳轉至對應商品並解答問題。

配合抖音接收來源，實現直播間自動帶貨。

相關文章：

1、(34條消息) 非常全面的數字人解決方案_郭澤斌之心的博客-CSDN博客_數字人算法

2、(34條消息) Fay數字人開源項目在mac 上的安裝辦法_郭澤斌之心的博客-CSDN博客

3、【開源項目：數字人FAY——Fay新架構使用講解】 https://www.bilibili.com/video/BV1NM411B7Ab/?share_source=copy_web&vd_source=64cd9062f5046acba398177b62bea9ad

4、【開源項目FAY——UE工程講解】https://www.bilibili.com/video/BV1C8411P7Ac?vd_source=64cd9062f5046acba398177b62bea9ad

5、m1機器安裝辦法（Gason提供）：https://www.zhihu.com/question/437075754

二次開髮指導聯繫QQ 467665317

關注公眾號獲取最新微信技術交流群二維碼（請先star本倉庫）