Shortcuts

边、端设备测试结果

这里给出我们边、端设备的测试结论,用户可以直接通过 model profiling 获得自己环境的结果。

软硬件环境

  • host OS ubuntu 18.04

  • backend SNPE-1.59

  • device Mi11 (qcom 888)

mmcls 模型

model dataset spatial fp32 top-1 (%) snpe gpu hybrid fp32 top-1 (%) latency (ms)
ShuffleNetV2 ImageNet-1k 224x224 69.55 69.83* 20±7
MobilenetV2 ImageNet-1k 224x224 71.86 72.14* 15±6

tips:

  1. ImageNet-1k 数据集较大,仅使用一部分测试(8000/50000)

  2. 边、端设备发热会降频,因此耗时实际上会波动。这里给出运行一段时间后、稳定的数值。这个结果更贴近实际需求

mmocr 检测

model dataset spatial fp32 hmean snpe gpu hybrid hmean latency(ms)
PANet ICDAR2015 1312x736 0.795 0.785 @thr=0.9 3100±100

mmpose 模型

model dataset spatial snpe hybrid AR@IoU=0.50 snpe hybrid AP@IoU=0.50 latency(ms)
pose_hrnet_w32 Animalpose 256x256 0.997 0.989 630±50

tips:

  • 测试 pose_hrnet 用的是 AnimalPose 的 test dataset,而非 val dataset

mmseg

model dataset spatial mIoU latency(ms)
fcn Cityscapes 512x1024 71.11 4915±500

tips:

  • fcn 用 512x1024 尺寸运行正常。Cityscapes 数据集 1024x2048 分辨率会导致设备重启

其他模型

  • mmdet 需要手动把模型拆成两部分。因为

    • snpe 源码中 onnx_to_ir.py 仅能解析输入,ir_to_dlc.py 还不支持 topk

    • UDO (用户自定义算子)无法和 snpe-onnx-to-dlc 配合使用

  • mmedit 模型

    • srcnn 需要 cubic resize,snpe 不支持

    • esrgan 可正常转换,但加载模型会导致设备重启

  • mmrotate 依赖 e2cnn ,需要手动安装 其 Python3.6 兼容分支

Read the Docs v: latest
Versions
latest
stable
dev-1.x
Downloads
html
epub
On Read the Docs
Project Home
Builds

Free document hosting provided by Read the Docs.