后台源码：CoDeF 的官方 PyTorch 实现：用于时间一致视频处理的内容变形字段

要使用视频可视化工具，请ffmpeg通过以下方式安装：

sudo apt-get install ffmpeg

如需其他 Python 库，请通过以下方式安装：

pip install -r requirements.txt

我们的代码还依赖于tiny-cuda-nn

训练新模型

./scripts/train_multi.sh

在哪里：

• GPU：决定在哪个GPU上进行训练；
• NAME：视频序列的名称；
• EXP_NAME：实验名称；
• ROOT_DIRECTORY：输入视频序列的目录；
• MODEL_SAVE_PATH：检查点保存路径；
• LOG_SAVE_PATH：日志保存路径；
• MASK_DIRECTORY：预处理掩模的目录（可选）；
• FLOW_DIRECTORY：预处理光流的目录（可选）；

请检查 中的配置文件configs/，您可以随时添加自己的模型配置。

测试重建

./scripts/test_multi.sh

运行脚本后，可以在 中找到重建的视频results/all_sequences/{NAME}/{EXP_NAME}以及规范图像。

测试视频翻译

通过此步骤获得规范图像后，使用您喜欢的文本提示通过ControlNet传输它。一旦您获得了传输的规范图像，请将其放入all_sequences/${NAME}/${EXP_NAME}_control（即CANONICAL_DIR放入scripts/test_canonical.sh）中。

然后运行：./scripts/test_canonical.sh

传输的结果可以在 中看到results/all_sequences/{NAME}/{EXP_NAME}_transformed。

注意：canonical_wh配置文件中的选项应谨慎设置，通常比 稍大img_wh，因为它决定了规范图像的视野。

书目词典

@article{ouyang2023codef, title={CoDeF: Content Deformation Fields for Temporally Consistent Video Processing}, author={Hao Ouyang and Qiuyu Wang and Yuxi Xiao and Qingyan Bai and Juntao Zhang and Kecheng Zheng and Xiaowei Zhou and Qifeng Chen and Yujun Shen}, journal={arXiv preprint arXiv:2308.07926}, year={2023} }