产品名称：SPEC Embedded MLMark

生产厂商：SPEC产品类别：系统工具

EEMBC MLMark® 基准测试是一个机器学习 (ML) 基准测试，旨在衡量嵌入式推理的性能和准确性。开发此基准测试的初衷源于分析 ML 性能所需环境缺乏标准化。MLMark 的目标用户是嵌入式开发人员，它致力于明确环境要求，以便不仅能够分析现有产品的性能，还能跟踪长期趋势，从而改进新的 ML 架构。EEMBC 拥有 20 年的嵌入式基准测试开发经验，很高兴将机器学习纳入其产品组合，并致力于与行业共同发展。

明确定义衡量指标

“延迟”和“吞吐量”对不同的人来说含义不同。模型“准确率”也是如此，尤其是在使用真实值的情况下。MLMark 对每个术语都进行了清晰的定义，明确了测量方法和准确率的计算方式。随着时间的推移，所有新增的基准测试都将采用相同的测量方法，从而形成推理趋势的历史记录。

发布实现方案

MLMark 并非允许个人在私有环境中设置规则并进行优化，而是要求将实现代码公开在代码库中。1.0 版本包含以下功能的源代码（和库）：

·        使用 OpenVINO® 的 Intel® CPU、GPU 和神经计算棒

·        使用 TensorRT 的 NVIDIA® GPU

·        Arm® Cortex®-A CPU 和 Arm Mali™ 系列 GPU 分别采用 Neon™ 技术和 OpenCL™。

选择特定型号

影响机器学习性能的变量众多，其中神经网络图（模型）最为重要。以图像分类残差网络为例：这类网络在线资源丰富，ResNet-50 就是一个热门模型。ResNet-50 有许多变体和优化方案（例如不同的输入层步长），以及不同的模型格式（Caffe、TensorFlow）和训练数据集。为了提供一致的评估标准，EEMBC 选择了一些目前最常用、文档最完善，且最有可能在边缘硬件上运行的特定模型。

教育和赋能用户

发布实现不仅能确保透明度，还能帮助从事性能分析的人员进行学习。许多拥有数十年经验的嵌入式工程师都被要求掌握这项新技术，而学习曲线十分陡峭。MLMark 通过整合针对多个目标平台的模型和代码，并尽可能简化实现，从而为不同 SDK 的推理机制提供了全面的洞察。