1. 效果对比2. Win使用简介
超分工具:系统环境:使用config文件说明:a. 通用参数设置b. 超视频设置模型分类说明: 3. 实际操作
模型存放:修改参数:运行模型:
4. 总结
Real-CUGAN 全名Real Cascade U-Nets for Anime Image Super Resolution,是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持
2x3x4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。
| Waifu2x(CUNet) | Real-ESRGAN(Anime6B) | Real-CUGAN | |
|---|---|---|---|
| 训练集 | 私有二次元训练集,量级与质量未知 | 私有二次元训练集,量级与质量未知 | 百万级高清二次元patch dataset |
| 推理耗时(1080P) | baseline | 2.2x | 1x |
| 效果(见对比图) | 无法去模糊,artifact去除不干净 | 锐化强度最大,容易改变画风,线条可能错判, 虚化区域可能强行清晰化 | 更锐利的线条,更好的纹理保留,虚化区域保留 |
| 兼容性 | 大量windows-APP使用,VapourSynth支持, Caffe支持,PyTorch支持,NCNN支持 | PyTorch支持,VapourSynth支持,NCNN支持 | 同Waifu2x,结构相同,参数不同,与Waifu2x无缝兼容 |
| 强度调整 | 仅支持多种降噪强度 | 不支持 | 已完成4种降噪程度版本和保守版,未来将支持调节不同去模糊、 去JPEG伪影、锐化、降噪强度 |
| 尺度 | 仅支持1倍和2倍 | 仅支持4倍 | 已支持2倍、3倍、4倍,1倍训练中 |
修改config.py配置参数,双击go.bat运行
超分工具:
百度网盘(提取码ds2a) |GithubRelease | 和彩云(提取码baRo,手机号验证码登录,不限速无需客户端) | GoogleDrive
以Gihthub为例:
✔️ 在win10-64bit系统下进行测试✔️ 小包需求系统cuda >= 10.0. 【大包需求系统cuda >= 11.1】❗️ 注意30系列 nvidia GPU 只能用大包. 使用config文件说明: a. 通用参数设置
mode: 在其中填写video或者image决定超视频还是超图像;
scale: 超分倍率;
model_path: 填写模型参数路径(目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型);
device: 显卡设备号。如果有多卡超图片,建议手工将输入任务平分到不同文件夹,填写不同的卡号;
超图像,需要填写输入输出文件夹;超视频,需要指定输入输出视频的路径。
❗️ 如果使用windows路径,需要在双引号前加r
b. 超视频设置
nt: 每张卡的线程数,如果显存够用,建议填写>=2
n_gpu: 显卡数;
encode_params: 编码参数 {crf,preset}
crf: 通俗来讲,crf变低=高码率高质量
preset: 越慢代表越低编码速度越高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster
half: 半精度推理,不建议关闭
tile: 有6种模式,数字越大显存需求越低,相对地可能会小幅降低推理速度 {0, 1, 2, 3, 4, auto}
模型分类说明:0: 直接使用整张图像进行推理,大显存用户或者低分辨率需求可使用
1: 对长边平分切成两块推理(95%,显存占用,下同)
2: 宽高分别平分切成两块推理(81%)
3: 宽高分别平分切成三块推理(61%)
4: 宽高分别平分切成四块推理(54%)
auto: 当输入图片文件夹图片分辨率不同时,填写auto自动调节不同图片tile模式,未来将支持该模式。
降噪版:如果原片噪声多,压得烂,推荐使用;目前2倍模型支持了3个降噪等级;无降噪版:如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;保守版:如果你担心丢失纹理,担心画风被改变,担心颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本。
搬运自https://github.com/bilibili/ailab/blob/main/Real-CUGAN/README.md
3. 实际操作 模型存放: 将 updated_weights.zip 下载后新建 weights_v3 文件夹,将模型解压进去
修改参数: 打开config.py,修改参数,里面的备注写的很清楚了,一般只用修改scale、tile、nt三个参数,文件夹路径自己输入即可,想使用别的model的话直接修改即可,以下是我的修改结果。
#超分倍率 scale=4 #参数路径,可更换 model_path2 = r"E:fenbianlvRealCUGAN_for_win10_torch1.10.0cu111weights_v3up2x-latest-no-denoise.pth" # model_path2 = "weights_v3/up2x-latest-denoise3x.pth"e model_path3 = r"E:fenbianlvRealCUGAN_for_win10_torch1.10.0cu111weights_v3up3x-latest-denoise3x.pth" model_path4 = r"E:fenbianlvRealCUGAN_for_win10_torch1.10.0cu111weights_v3up4x-latest-no-denoise.pth" #超分模式,视频or图像文件夹 mode="image"#video#image #早期显卡开半精度不会提速,但是开半精度可以省显存。 half=True #tile分为0~4一共5个mode。0在推理时不对图像进行切块,最占内存,mode越提升越省显存,但是可能会降低GPU利用率,降低推理速度 tile=4 #超图像设置 device="cuda:0"#0代表卡号,多卡的话可以写不同config并行开,显存多的话一张卡也可以开多个 input_dir=r"E:fenbianlvRealCUGAN_for_win10_torch1.10.0cu111picture"#输入图像路径 output_dir=r"E:fenbianlvRealCUGAN_for_win10_torch1.10.0cu111output"#超分图像输出路径 #超视频设置 inp_path="../东之伊甸4raw-clip10s.mp4" opt_path="../东之伊甸4raw-clip10s-2x.mp4" #线程数:6G显存<=720P可写2,6G显存+1080P写1,12G可写2,24G可写4,边缘显存量爆显存降低线程数 nt=2 #显卡数 n_gpu=1 #别乱动 p_sleep=(0.005,0.012) decode_sleep=0.002 #编码参数,不懂别乱动;通俗来讲,crf变低=高码率高质量,slower=低编码速度高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster encode_params=['-crf', '18', '-preset', 'medium']
运行模型: 将要超分的图片放入picture文件夹中,运行go.bat,如果显存没超的话,运行完如下图所示。
ps:我的3060爆了好多次显存,等开学了用3080跑一下试试。
最后的对比图来啦:
原图:
超分后:
4. 总结
最后的成图确实惊艳到我了,不得不说叔叔还是懂大家,现在坐等更新新的模型。



