sd-webui-and-SadTalker

## 版本

- sd-webui(https://github.com/AUTOMATIC1111/stable-diffusion-webui version: v1.10.1)
- SadTalker(https://github.com/OpenTalker/SadTalker/ commit: cd4c0465ae0b54a6f85af57f5c65fec9fe23e7f8)

- https://github.com/OpenTalker/SadTalker.git
  * git@github.com:OpenTalker/SadTalker.git
  * set COMMANDLINE_ARGS="--disable-safe-unpickle"
set SADTALKER_CHECKPOINTS=D:\openai.wiki\stable-diffusion-webui\extensions\SadTalker\checkpoints

## 下载 & 修改 & 使用

使用`git clone https://github.com/OpenTalker/SadTalker`下载，sd-webui在线安装会出问题。

下载好以后，复制到D:\ai\stable-diffusion-webui\extensions中，注意文件夹的名称必须是`SadTalker`。

## 修改

### 修改文件名

requirements3d.txt
req.txt
requirements.txt
这三个文件，名称后加个1，别让自动安装依赖。

### 修改代码

```text
        return librosa.stft(y=y, n_fft=hp.n_fft, hop_length=get_hop_size(), win_length=hp.win_size)
在src/utils/audio.py搜索上面这行代码，改成下面的
        return librosa.stft(y=y, n_fft=hp.n_fft, hop_length=get_hop_size(), win_length=hp.win_size, dtype=float)
```

```text
在src\face3d\util\preprocess.py中
添加`from numpy import array`
搜索这行代码
    trans_params = np.array([w0, h0, s, t[0], t[1]])
改成它
    trans_params = array([float(w0), float(h0), float(s), float(t[0]), float(t[1])])
```

```text
在src\face3d\util\my_awing_arch.py中
搜索这行代码
    preds = preds.astype(np.float, copy=False)
改成它
    preds = preds.astype(float, copy=False)
```

修改.py文件时注意空格对齐。

这样安装
venv\Scripts\pip.exe install librosa==0.9.2
报什么错安装什么，别一下安装很多。

## 下载模型文件：

放到D:\ai\stable-diffusion-webui\extensions\SadTalker\checkpoints中。

在webui-user.bat文件中的`call webui.bat`的前面添加`set SADTALKER_CHECKPOINTS=D:\ai\stable-diffusion-webui\extensions\SadTalker\checkpoints`

（更建议将这些模型文件放到stable-diffusion-webui或SadTalker目录之外，如`D:\ai\sd-extendsion-files\SadTalker`，这样使用`set SADTALKER_CHECKPOINTS=D:\ai\sd-extendsion-files\SadTalker\checkpoints`即可，见
[官方文档](https://github.com/OpenTalker/SadTalker/blob/main/docs/webui_extension.md)）

https://github.com/OpenTalker/SadTalker/releases

在v0.0.2版本里

mapping_00109-model.pth.tar   149 MB  ./checkpoints/mapping_00109-model.pth.tar
mapping_00229-model.pth.tar   148 MB ./checkpoints/mapping_00229-model.pth.tar
SadTalker_V0.0.2_256.safetensors  691 MB ./checkpoints/SadTalker_V0.0.2_256.safetensors
SadTalker_V0.0.2_512.safetensors  691 MB  ./checkpoints/SadTalker_V0.0.2_512.safetensors

auido2exp_00300-model.pth
auido2pose_00140-model.pth
epoch_20.pth
wav2lip.pth
facevid2vid_00189-model.pth.tar

还会下载其它文件，建议手工下载，复制到对应目录中：

Downloading: "https://github.com/xinntao/facexlib/releases/download/v0.1.0/alignment_WFLW_4HG.pth" to D:\ai\stable-diffusion-webui\extensions\SadTalker\gfpgan\weights\alignment_WFLW_4HG.pth

![目录结构](https://user-images.githubusercontent.com/4397546/232511411-4ca75cbf-a434-48c5-9ae0-9009e8316484.png)