量化测试结果

目前 mmdeploy 支持 ncnn 量化

ncnn 量化

分类任务

model	dataset	fp32 top-1 (%)	int8 top-1 (%)
ResNet-18	Cifar10	94.82	94.83
ResNeXt-32x4d-50	ImageNet-1k	77.90	78.20*
MobileNet V2	ImageNet-1k	71.86	71.43*
HRNet-W18*	ImageNet-1k	76.75	76.25*

备注：

• 因为 imagenet-1k 数据量很大、ncnn 未正式发布 Vulkan int8 版本，考虑到 CPU 运行时间，仅用部分测试集（4000/50000）

• 量化后精度会有差异，分类模型涨点 1% 以内是正常情况

OCR 检测任务

model	dataset	fp32 hmean	int8 hmean
PANet	ICDAR2015	0.795	0.792 @thr=0.9
TextSnake	CTW1500	0.817	0.818

备注：mmocr 使用 shapely 计算 IoU，实现方法会导致轻微的精度差异

姿态检测任务

model	dataset	fp32 AP	int8 AP
Hourglass	COCO2017	0.717	0.713

备注：测试转换后的模型精度时，对于 mmpose 模型，在模型配置文件中 flip_test 需设置为 False。