Shortcuts

量化测试结果

目前 mmdeploy 支持 ncnn 量化

ncnn 量化

分类任务

model dataset fp32 top-1 (%) int8 top-1 (%)
ResNet-18 Cifar10 94.82 94.83
ResNeXt-32x4d-50 ImageNet-1k 77.90 78.20*
MobileNet V2 ImageNet-1k 71.86 71.43*
HRNet-W18* ImageNet-1k 76.75 76.25*

备注:

  • 因为 imagenet-1k 数据量很大、ncnn 未正式发布 Vulkan int8 版本,考虑到 CPU 运行时间,仅用部分测试集(4000/50000)

  • 量化后精度会有差异,分类模型涨点 1% 以内是正常情况

OCR 检测任务

model dataset fp32 hmean int8 hmean
PANet ICDAR2015 0.795 0.792 @thr=0.9
TextSnake CTW1500 0.817 0.818

备注:mmocr 使用 shapely 计算 IoU,实现方法会导致轻微的精度差异

姿态检测任务

model dataset fp32 AP int8 AP
Hourglass COCO2017 0.717 0.713
S-ViPNAS-MobileNetV3 COCO2017 0.687 0.683
S-ViPNAS-Res50 COCO2017 0.701 0.696
S-ViPNAS-MobileNetV3 COCO Wholebody 0.459 0.445
S-ViPNAS-Res50 COCO Wholebody 0.484 0.476
S-ViPNAS-MobileNetV3_dark COCO Wholebody 0.499 0.481
S-ViPNAS-Res50_dark COCO Wholebody 0.520 0.511

备注:测试转换后的模型精度时,对于 mmpose 模型,在模型配置文件中 flip_test 需设置为 False

超分辨率任务

model dataset fp32 PSNR/SSIM int8 PSNR/SSIM
EDSR Set5 35.7733/0.9365 35.4266/0.9334
EDSRx4 Set5 30.2194/0.8498 29.9340/0.8409

语义分割任务

model dataset fp32 mIoU int8 mIoU
Fast-SCNN cityscapes 70.96 70.24

备注:

  • Fast-SCNN 的int8模型需要使用ncnnoptimize优化。

  • NCNN将会从train中抽取512张图片作为校准集。

Read the Docs v: latest
Versions
latest
stable
dev-1.x
Downloads
html
epub
On Read the Docs
Project Home
Builds

Free document hosting provided by Read the Docs.