量化测试结果

目前 mmdeploy 支持 ncnn 量化

ncnn 量化

分类任务

model	dataset	fp32 top-1 (%)	int8 top-1 (%)
ResNet-18	Cifar10	94.82	94.83
ResNeXt-32x4d-50	ImageNet-1k	77.90	78.20*
MobileNet V2	ImageNet-1k	71.86	71.43*
HRNet-W18*	ImageNet-1k	76.75	76.25*

备注：

• 因为 imagenet-1k 数据量很大、ncnn 未正式发布 Vulkan int8 版本，考虑到 CPU 运行时间，仅用部分测试集（4000/50000）

• 量化后精度会有差异，分类模型涨点 1% 以内是正常情况

OCR 检测任务

model	dataset	fp32 hmean	int8 hmean
PANet	ICDAR2015	0.795	0.792 @thr=0.9
TextSnake	CTW1500	0.817	0.818

备注：mmocr 使用 shapely 计算 IoU，实现方法会导致轻微的精度差异

姿态检测任务

model	dataset	fp32 AP	int8 AP
Hourglass	COCO2017	0.717	0.713
S-ViPNAS-MobileNetV3	COCO2017	0.687	0.683
S-ViPNAS-Res50	COCO2017	0.701	0.696
S-ViPNAS-MobileNetV3	COCO Wholebody	0.459	0.445
S-ViPNAS-Res50	COCO Wholebody	0.484	0.476
S-ViPNAS-MobileNetV3_dark	COCO Wholebody	0.499	0.481
S-ViPNAS-Res50_dark	COCO Wholebody	0.520	0.511

备注：测试转换后的模型精度时，对于 mmpose 模型，在模型配置文件中 flip_test 需设置为 False。

超分辨率任务

model	dataset	fp32 PSNR/SSIM	int8 PSNR/SSIM
EDSR	Set5	35.7733/0.9365	35.4266/0.9334
EDSRx4	Set5	30.2194/0.8498	29.9340/0.8409

语义分割任务

model	dataset	fp32 mIoU	int8 mIoU
Fast-SCNN	cityscapes	70.96	70.24

备注：

• Fast-SCNN 的int8模型需要使用ncnnoptimize优化。

• NCNN将会从train中抽取512张图片作为校准集。