Open Avatar Chat 是由阿里开源的数字人对话系统，让数字人 具备视觉感知+语音交互+情感表达多模态能力，能达到类似真人的对话体验。
本教程将采用硬件需求最低的部署方案：SenseVoice+LLM API+CosyVoice API的方式运行 LAM 或 LiteAvatar 数字人。显存占用最低仅有3G！
实测显存占用情况
在搭载RTX3060 6G的笔记本电脑上运行测试
运行LAM数字人，仅占用3.1G显存！对话流畅，性能相当强悍！
实测图如下：
运行LiteAvatar数字人，也仅需5.3G显存！实测图如下：
系统依赖
• N卡4G以上显存
• N卡支持 CUDA >= 12.4
• ffmpeg
• miniconda 或 Anaconda
• 阿里云百炼API KEY(可白嫖)
安装 miniconda 、ffmpeg 可查看往期文章
•安装miniconda
•安装ffmpeg
拉取仓库
拉取主仓库 –depth=1 仅拉取最新的提交，减少空间占用git clone –depth=1 https://github.com/HumanAIGC-Engineering/OpenAvatarChat.gitcd OpenAvatarChat# 拉取子仓库git submodule update –init –recursive
逐个拉取仓库(推荐)
针对网络环境不好的同学，推荐逐个拉取仓库。在拉取失败时能快速定位到异常仓库。
所有git clone命令均带有路径，可直接在主仓库根目录下执行。
注：由于是最小化组件安装，没有拉取MiniCPM-o仓库
所有子仓库可在.gitmodules文件中查看
主仓库 OpenAvatarChat
git clone –depth=1 https://github.com/HumanAIGC-Engineering/OpenAvatarChat.gitcd OpenAvatarChat
liteavatar
跳过lfs下载大型文件，后续把大型文件单独下载后放入指定位置# set GITLFSSKIP_SMUDGE=1git clone –depth=1 https://github.com/HumanAIGC/lite-avatar.git ./src/handlers/avatar/liteavatar/algo/liteavatar
liteavatar仓库中共有三个大型文件，把它们单独下载到本地再放到对应位置：
• weightsmodel_1.onnx (175 MB)
• weightsspeechparaformer-largeasr_nat-zh-cn-16k-common-vocab8404-pytorchmodel.pb (839 MB)
• weightsspeechparaformer-largeasr_nat-zh-cn-16k-common-vocab8404-pytorchlmlm.pb (226 MB)
silero_vad
git clone –depth=1 https://github.com/snakers4/silero-vad.git ./src/handlers/vad/silerovad/silero_vad
gradiowebrtcvideochat
git clone –depth=1 https://github.com/HumanAIGC-Engineering/gradio-webrtc.git ./src/thirdparty/gradiowebrtc_videochat
CosyVoice
CosyVoice 仓库中包含子仓库：Matcha-TTS。添加参数 –recursive 将自动拉取git clone –depth=1 –recursive https://github.com/FunAudioLLM/CosyVoice.git ./src/handlers/tts/cosyvoice/CosyVoice
LAM_Audio2Expression
git clone –depth=1 https://github.com/aigc3d/LAMAudio2Expression.git ./src/handlers/avatar/lam/LAMAudio2Expression
* *
安装依赖
conda新建python 3.10环境
新建名为 openavatarchat 的 python 3.10 环境conda create -n openavatarchat python=3.10# 激活环境conda activate openavatarchat
conda安装pynini
conda install -c conda-forge pynini==2.1.6
安装pytorch
pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu124
安装fastrtc
这个fastrtc是经过OpenAvatarChat团队修改的版本，且打包成了whl包，跟随OpenAvatarChat仓库发布。千万不要安装gradio版的fastrtc
pip install -i https://mirrors.aliyun.com/pypi/simple ./src/thirdparty/gradiowebrtc_videochat/dist/fastrtc-0.0.19.dev0-py3-none-any.whl
安装其它依赖
请严格按照以下顺序安装依赖包。已经过多轮测试，安装后可正常运行。
pip install -i https://mirrors.aliyun.com/pypi/simple aiohttp==3.11.16pip install -i https://mirrors.aliyun.com/pypi/simple modelscope==1.25.0pip install -i https://mirrors.aliyun.com/pypi/simple openai==1.74.0pip install -i https://mirrors.aliyun.com/pypi/simple dynaconf==3.2.10pip install -i https://mirrors.aliyun.com/pypi/simple email-validator==2.2.0pip install -i https://mirrors.aliyun.com/pypi/simple fastapi-cli==0.0.7pip install -i https://mirrors.aliyun.com/pypi/simple loguru==0.7.3pip install -i https://mirrors.aliyun.com/pypi/simple opencv-python-headless==4.11.0.86pip install -i https://mirrors.aliyun.com/pypi/simple pyaml==25.1.0pip install -i https://mirrors.aliyun.com/pypi/simple funasr==1.2.6pip install -i https://mirrors.aliyun.com/pypi/simple vocos==0.1.0pip install -i https://mirrors.aliyun.com/pypi/simple vector-quantize-pytorch==1.21.9pip install -i https://mirrors.aliyun.com/pypi/simple transformers==4.44.1pip install -i https://mirrors.aliyun.com/pypi/simple h5py==3.12.1pip install -i https://mirrors.aliyun.com/pypi/simple pypinyin==0.53.0pip install -i https://mirrors.aliyun.com/pypi/simple typeguard==2.13.3pip install -i https://mirrors.aliyun.com/pypi/simple onnxruntime-gpu~=1.20.1pip install -i https://mirrors.aliyun.com/pypi/simple onnxruntime~=1.20.1pip install -i https://mirrors.aliyun.com/pypi/simple dashscope==1.23.1pip install -i https://mirrors.aliyun.com/pypi/simple edge-tts==7.0.0pip install -i https://mirrors.aliyun.com/pypi/simple addict==2.4.0pip install -i https://mirrors.aliyun.com/pypi/simple yapf==0.40.1pip install -i https://mirrors.aliyun.com/pypi/simple spleeter==2.4.0pip install -i https://mirrors.aliyun.com/pypi/simple gradio==5.9.1
下载模型文件
模型文件均来自modelscope魔塔社区，无需担心网络问题。
在OpenAvatarChat根目录下执行，模型文件会下载到对应的文件夹中
SenseVoice语音识别模型
modelscope download –model iic/SenseVoiceSmall –local_dir ./models/iic/SenseVoiceSmall
LiteAvatar提供的预训练数字人形象(100个)
modelscope download –model HumanAIGC-Engineering/LiteAvatarGallery –local_dir ./resource/avatar/liteavatar
lam 数字人依赖模型
modelscope download –model AI-ModelScope/wav2vec2-base-960h –localdir ./models/wav2vec2-base-960hmodelscope download –model DamoXRLab/LAMaudio2exp LAMaudio2expstreaming.tar –localdir ./models/LAMaudio2exp
注意：这里的LAMaudio2expstreaming.tar压缩包需要解压，否则在运行lam数字人时报错：No checkpoint found
使用WinRAR解压有可能会遇到只解压出一个文件的问题，正常解压出来的应当是一个文件夹。猜测可能是解压软件的问题。遇到问题的同学可以修改LAMaudio2expstreaming.tar文件后缀名为.tar.gz即可使用WinRAR解压。
如下图：
解后的目录结构为:
./models/LAMaudio2exp/pretrainedmodels/LAMaudio2expstreaming.tar
* *
白嫖大模型API
白嫖 CosyVoice 语音合成
• 阿里云百炼 CosyVoice-v1 链接:
https://bailian.console.aliyun.com/?tab=model#/model-market/detail/cosyvoice-v1
当白嫖额度消耗殆尽时，可在配置文件中替换为EDGE-TTS语言合成，但速度稍慢
白嫖LLM大语言模型
• 阿里云百炼 qwen-vl-plus 链接:
https://bailian.console.aliyun.com/?tab=model#/model-market/detail/qwen-vl-plus
• OpenRouter qwen2.5-vl-72b-instruct 链接:
https://openrouter.ai/qwen/qwen2.5-vl-72b-instruct:free
注意
在登录阿里云百炼后，所使用模型的白嫖额度会显示在页面中，注意查看：
* *
修改配置文件
配置文件位于：config文件夹内
一、配置LiteAvatar数字人
1. 复制配置文件chatwithopenaicompatiblebailian_cosyvoice.yaml到同目录内，重命名为liteavatar.yaml
2. 编辑liteavatar.yaml文件，把CosyVoice apikey和LLM大语言模型apikey填进去。如下图示例：
若是使用OpenRouter的 LLM大模型，则要修改modelname、apiurl、api_key。如下图示例：
二、配置LAM数字人
1. 复制配置文件chatwithopenaicompatiblebailian_cosyvoice.yaml到同目录内，重命名为lam.yaml
2. 编辑lam.yaml文件，填写CosyVoice apikey和LLM大语言模型apikey，与上文配置LiteAvatar数字人相同
3. 把RtcClient删除，替换为LamClient
LamClient: module: client/h5renderingclient/clienthandlerlam assetpath: "lamsamples/image.zip" concurrent_limit: 5
参考下图：
4.把LiteAvatar删除，替换为LAM_Driver
LAMDriver: module: avatar/lam/avatarhandlerlamaudio2expression
参考下图：
使用EDGE-TTS语言合成
编辑yaml配置文件
把CosyVoice配置项删除，或者把CosyVoice配置项的enabled改为False
把下面的Edge_TTS配置项添加到配置文件中去
EdgeTTS: enabled: True module: tts/edgetts/ttshandler_edgetts voice: "zh-CN-XiaoxiaoNeural"
* *
运行数字人
运行 LiteAvatar版本数字人
python src/demo.py –config config/liteavatar.yaml
运行 LAM 版数字人
python src/demo.py –config config/lam.yaml 在输出如下内容时，即可在浏览器中打开http://127.0.0.1:8282开始体验
